Come si insegna a un modello a non essere dannoso? Il modo classico è farglielo dire da migliaia di persone: un umano legge una risposta cattiva, la segnala, e il modello impara da quelle segnalazioni. È efficace e costoso, e mette molte persone a contatto con contenuti sgradevoli. Constitutional AI propone un’alternativa: dare al modello una lista di principi scritti e insegnargli a criticarsi e correggersi da solo contro quella lista. Nel 2022 Anthropic (Yuntao Bai e colleghi) ha descritto il metodo, che è anche il motivo per cui un assistente come Claude ha il carattere che ha.

Perché conta per te

Non addestrerai un modello, ma il principio ti riguarda da vicino, perché è lo stesso che usi quando scrivi bene un prompt di sistema. Constitutional AI dice, in sostanza: se vuoi un comportamento coerente, scrivi le regole in chiaro e falle applicare, invece di correggere caso per caso. Vale per un modello in addestramento e vale per l’assistente personalizzato che configuri tu: una regola scritta bene, applicata in modo coerente, batte cento correzioni a mano.

Cosa dice il paper

Il metodo ha due fasi. Nella prima, il modello genera una risposta, poi si auto-critica guardando i principi della «costituzione» («questa risposta viola la regola sul non dare istruzioni pericolose?») e riscrive la risposta per rispettarli. Il modello viene poi riaddestrato sulle versioni corrette. Nella seconda fase, si usa un modello per giudicare quale di due risposte rispetta meglio i principi, e da questi giudizi si costruisce il segnale che guida l’addestramento successivo. Gli autori la chiamano RLAIF, apprendimento per rinforzo dal feedback di un’AI, in contrapposizione al più diffuso feedback umano.

Il punto notevole è che si ottiene un assistente meno dannoso senza esempi umani di contenuti dannosi: l’unica supervisione umana è la lista di principi. Il comportamento non nasce da migliaia di etichette, nasce da poche regole scritte con cura e applicate dal modello a sé stesso. Da qui viene l’idea che il «carattere» di un assistente sia, in buona parte, un documento leggibile.

Quanto fidarsi

È un contributo importante e dichiaratamente parziale. Tre cose da tenere presenti.

La prima: spostare il giudizio dall’umano al modello eredita i limiti del modello-giudice. Se il modello che valuta ha un punto cieco, quel punto cieco entra nell’addestramento. È lo stesso tema dei bias del giudice automatico: usare un’AI per valutare un’AI fa risparmiare lavoro umano e sposta il rischio sulla qualità del giudice.

La seconda: la qualità dipende dai principi. Una costituzione vaga o incoerente produce un comportamento vago o incoerente. Scrivere le regole giuste è il lavoro difficile, e non è un problema tecnico, è un problema di scelte su cosa conta.

La terza: il paper riguarda l’innocuità (non essere dannoso), non ogni aspetto del comportamento. È un pezzo dell’allineamento, non la sua soluzione completa, e gli autori non lo presentano come tale.

Cosa farne

La lezione trasferibile al tuo uso quotidiano: quando vuoi che un assistente si comporti in un certo modo in modo stabile, scrivi le regole in chiaro e mettile dove valgono sempre (il prompt di sistema, le istruzioni di un assistente personalizzato), invece di correggerlo ogni volta a mano. «Rispondi sempre in italiano, non promettere date senza conferma, se non sai una cosa dillo» è una piccola costituzione, e funziona per lo stesso motivo di quella del paper: una regola scritta e applicata batte una correzione ripetuta.

Cosa non concludere: che regole scritte garantiscano il comportamento. Il modello le applica in modo imperfetto, e principi ambigui danno risultati ambigui. Le regole spostano molto le probabilità nella direzione giusta, non chiudono la porta agli errori.

Dove approfondire

Il meccanismo di far valutare un’AI da un’altra, che sta al cuore di questo metodo, è esaminato con i suoi rischi nel paper su l’LLM come giudice: leggerli insieme dà il quadro completo di quando fidarsi di un modello che giudica.