Molti banchi di prova per l’AI misurano cose difficili per gli umani: problemi di matematica avanzata, esami da specialisti. GAIA fa il contrario, e per questo è più onesto su cosa serve nella vita vera. Le sue domande sono facili per una persona qualunque e difficili per un’AI: chiedono di cercare un’informazione, incrociarne due, contare, leggere una tabella allegata. Nel 2023 un gruppo di Meta e collaboratori (Grégoire Mialon e colleghi) l’ha proposto come termometro per gli assistenti generali, quelli che dovrebbero aiutarti nei compiti quotidiani.

Perché conta per te

Perché misura proprio il tipo di lavoro per cui useresti un assistente: non risolvere un integrale, ma «trova questo dato, confrontalo con quest’altro, e dimmi il risultato». Se un assistente vale come aiutante pratico, deve saper fare queste cose banali per te ma composte di più passi. GAIA ti dà un metro realistico, e i suoi numeri di partenza raffreddano l’entusiasmo al punto giusto.

Cosa dice il paper

GAIA raccoglie 466 domande che sembrano semplici e non lo sono per una macchina, perché richiedono più passi messi in fila: cercare sul web, aprire un allegato, incrociare informazioni, fare un piccolo calcolo. Un esempio del genere: «in questo foglio di calcolo, quante righe soddisfano questa condizione, e qual è la loro somma?», oppure una domanda la cui risposta richiede di trovare un dato su una pagina e combinarlo con uno preso da un’altra. Per un umano sono compiti da pochi minuti, con pazienza e senza competenze speciali.

Il divario misurato è quello che colpisce. Le persone rispondono correttamente al 92% delle domande. Un modello forte dell’epoca, GPT-4 dotato di strumenti aggiuntivi, si fermava intorno al 15%. Il punto degli autori è proprio questo scarto: su compiti che un adulto qualunque svolge senza sforzo, gli assistenti «general purpose» crollavano, perché sbagliare uno solo dei passi intermedi (cercare la fonte giusta, leggere bene la tabella, non perdere un pezzo per strada) manda a monte l’intera risposta. GAIA misura la robustezza sui passi in fila, che è ciò che serve davvero a un assistente.

Quanto fidarsi

Il numero da ricordare è il divario, e va incorniciato bene. Tre cose.

La prima: il 15% è la fotografia del 2023, e da allora gli assistenti sono migliorati parecchio su questo tipo di compiti. La cifra invecchia; quello che non invecchia è cosa misura, cioè la capacità di portare a termine più passi senza cadere.

La seconda: proprio perché premia le catene di passi, GAIA è severo con gli errori intermedi. Questo lo rende un buon termometro della robustezza, ma anche un banco dove piccoli miglioramenti nel «non perdere un pezzo» spostano molto il punteggio. Leggi il numero come robustezza sui passi, non come intelligenza in astratto.

La terza: è un insieme di domande costruito, non il tuo lavoro. Un buon punteggio è un buon segnale, non una garanzia che l’assistente sappia fare la tua specifica catena di passi.

Cosa farne

La lezione pratica per come deleghi: i compiti che falliscono non sono quelli «difficili», sono quelli con più passi, dove basta sbagliarne uno. Quando dai a un assistente un lavoro composto (cerca, poi incrocia, poi conta), non fidarti del risultato finale senza controllare i passi: chiedigli di mostrarli, e verifica il punto più fragile. È lo stesso motivo per cui conviene spezzare un compito lungo in passi verificabili invece di chiederlo tutto in una volta.

Cosa non concludere: che un assistente forte su GAIA sappia fare tutto. Sa reggere meglio le catene di passi, in media. Il tuo caso specifico va comunque provato, perché la robustezza sui passi di un benchmark non trasferisce automaticamente alla tua sequenza particolare.

Dove approfondire

Il capitolo «Cos’è un agente» spiega perché proprio i compiti a più passi sono il banco di prova vero di un assistente, e come si costruisce un lavoro in passi che si possono controllare uno per uno.