La domanda

Hai chiesto a un modello di riassumere un contratto di 40 pagine. La sintesi che ti restituisce dice solo cose vere. Peccato che ha saltato la clausola di recesso automatico, il tetto di responsabilità e tre scadenze chiave. Tutto quello che ha scritto è corretto. Quello che ha omesso ti costa un cliente.

La domanda a cui risponde questo paper è semplice: come si misura se una risposta generata contiene tutti i fatti che dovrebbe contenere, oltre a verificare se quelli che dice sono giusti?

Perché conta per te

Se usi l’AI per riassumere, analizzare o sintetizzare documenti, il rischio che conosci meglio è l’allucinazione: il modello che inventa un fatto falso. I tool di valutazione che circolano oggi sono costruiti su questo. Decompongono il testo in affermazioni atomiche, cercano ciascuna nelle fonti, verificano se regge. Funziona bene per prendere chi dice il falso.

Funziona male per prendere chi salta il vero.

La completezza fattuale è il problema silenzioso del lavoro quotidiano con l’AI. Un riassunto che omette il dato chiave di un bilancio, un’analisi che non menziona il rischio principale, un report che tralascia tre dei sette punti dell’ordine del giorno: nessuno di questi contiene un errore. Tutti contengono un buco. E i buchi sono più difficili da intercettare delle invenzioni, perché non c’è una frase da marcare come falsa. C’è un’assenza.

Questo paper di Meta Research, pubblicato a luglio 2026, costruisce un benchmark chiamato GAMUT (Grounded Assessment of Multimodal Factuality) pensato per misurare questa metà mancante. Per chi costruisce sistemi di valutazione o per chi vuole capire quanto fidarsi di una sintesi generata, è un cambio di prospettiva concreto.

Cosa dice il paper

L’osservazione di partenza è che i fatti che compongono una risposta completa raramente formano una lista piatta. Hanno una struttura: alcuni sono più importanti di altri, alcuni formano insiemi aperti dove conta la copertura totale, alcuni vanno in ordine (i passi di un processo), alcuni dipendono da altri (una relazione fra due fatti che una checklist di sì/no non coglie).

Gli autori propongono una meta-rubrica a due livelli. Il primo livello è una struttura che organizza i contenuti richiesti per una risposta completa: gerarchia, pesi di importanza, relazioni fra i fatti. Il secondo livello è una checklist piatta di voci binarie (sì/no) generata meccanicamente a partire dalla struttura del primo livello. Un giudice LLM poi valuta ogni voce della checklist.

L’idea è che la struttura complessa serve a pensare e a definire cosa conta, ma la valutazione automatica funziona meglio su domande semplici e binarie. La meta-rubrica fa da ponte: cattura la ricchezza della struttura e la traduce in qualcosa che un modello può valutare in modo affidabile.

Per costruire il benchmark, gli autori hanno raccolto 1.813 domande basate su immagini reali da dispositivi indossabili in 10 domini diversi. Ogni domanda è accompagnata da una rubrica con evidenze, verificata da annotatori umani esperti. Il framework è indipendente dalla modalità, quindi hanno rilasciato anche una variante solo testo.

Hanno testato 14 modelli fra frontier e open-weight. Il risultato migliore viene da Gemini 3.1 Pro con il 58,7%. Il paper descrive il benchmark come genuinamente difficile, altamente discriminativo (separa bene i modelli buoni da quelli meno buoni) e robusto rispetto alla scelta del giudice (cambiare il modello che valuta non stravolge la classifica).

Il numero da tenere a mente è quel 58,7%. Il modello migliore, su questo benchmark, copre poco più della metà dei fatti che una risposta completa dovrebbe contenere. Dice due cose: il benchmark è duro, e la completezza è un problema aperto.

Quanto fidarsi

Il paper è onesto sui limiti del proprio approccio, e alcuni li riporto qui perché contano per chi legge.

Primo: la costruzione delle rubriche richiede annotazione umana esperta. Non è un processo automatico. Per 1.813 domande serve lavoro umano qualificato, il che significa che scalare questo approccio a domini nuovi costa tempo e persone. Il paper non nasconde questo costo.

Secondo: il benchmark è ancorato a immagini da dispositivi indossabili. La variante solo testo esiste, ma la validazione principale è su materiale multimodale. Se il tuo caso d’uso è riassumere contratti o report finanziari, la transferabilità dei risultati al tuo dominio non è garantita dal paper. Va verificata.

Terzo: il 58,7% come punteggio massimo va letto con attenzione. I modelli sono valutati su risposte a domande aperte dove la completezza richiede di enumerare insiemi di fatti, non di scegliere fra opzioni. È una misura di quanto un modello riesce a coprire da solo uno spazio di informazioni definito da una rubrica. Un riassunto al 58% di completezza può essere comunque sufficiente se i fatti omessi sono i meno importanti. Il benchmark misura la copertura grezza, non la copertura ponderata per l’utilità.

Quarto: lavoro dall’abstract e dalla pagina del paper, non dal testo completo. I dettagli metodologici sulla costruzione della meta-rubrica, sulla qualità dell’annotazione e sulla varianza fra giudici sono nel paper integrale.

Cosa farne

Per chi usa l’AI per sintetizzare e analizzare, l’implicazione pratica è diretta: smetti di valutare solo la precisione. Quando controlli una sintesi generata, non cercare solo le frasi false. Cerca i buchi. Il playbook Documenti lunghi senza tagli silenziosi lavora esattamente su questo: far leggere un documento lungo a blocchi con citazioni ancorate e un indice di copertura, per accorgersi di cosa è stato saltato. Il paper dà il quadro accademico a un problema che chi usa l’AI incontra ogni giorno.

Per chi costruisce sistemi di valutazione, la meta-rubrica a due livelli è un’idea applicabile anche senza il benchmark. Puoi definire la struttura dei contenuti che una risposta completa dovrebbe avere (il primo livello), tradurla in una checklist di voci binarie (il secondo livello) e far valutare ogni voce a un modello. È un pattern che puoi ricostruire con i tuoi dati e le tue rubriche, senza bisogno di GAMUT.

Cosa non concludere: il 58,7% non significa che i modelli siano inutili per i compiti di sintesi. Significa che se chiedi a un modello di coprire da solo tutto lo spazio dei fatti rilevanti su un argomento aperto, ne manca circa la metà. Se gli dai una struttura (un indice, una lista di punti da coprire, una rubrica) il risultato cambia, perché non è più il modello a decidere cosa è completo. Sei tu.

Il rischio di lettura più probabile è usare questo numero come argomento per non usare l’AI nei compiti di sintesi. Il numero dice altro: che serve un controllo di completezza, e che quel controllo è praticabile.

Dove approfondire

• Il playbook Documenti lunghi senza tagli silenziosi è il correlato operativo: come accorgersi di cosa salta un modello quando legge un documento lungo.
• La lezione del corso Valutare senza benchmark e il paper Valutare un agente senza benchmark costruiscono il quadro per pensare alla valutazione sui tuoi casi, non sulle medie.
• Il paper LLM come giudice spiega come funziona e dove stortura il voto di un modello che ne valuta un altro, la base su cui GAMUT poggia per la fase di scoring.