Apri ChatGPT, chiedi un ristorante per stasera, e lui ti suggerisce un posto vegano. Peccato che non gli hai mai detto che sei vegetariano. Ha inferito, da qualche conversazione precedente, che lo fossi. E ha deciso di trattarlo come un fatto.

Ti ricordi che a marzo gli hai chiesto una ricetta senza carne. Da lì il modello ha costruito un profilo: sei vegetariano. Forse lo sei, forse no. Forse avevi ospiti vegetariani a cena. Per il modello la distinzione non conta: accumula attributi e li tratta come certi.

Questo fenomeno ha un nome nel paper di Yushi Sun e colleghi di HKUST: over-inference, l’inferenza oltre le prove. Il modello prende un segnale debole e lo promuote a dato di fatto.

Perché conta per te

Se usi assistenti con memoria persistente, e ormai quasi tutti lo sono, il problema ti riguarda direttamente. ChatGPT Memory, Claude Projects, Gemini con contesto salvato: tutti costruiscono un profilo di te basato su quello che gli hai detto nel tempo.

Il profilo serve. Ti evita di ripetere il contesto ogni volta, rende le risposte più pertinenti, accelera il lavoro. Ma se il profilo contiene il 40% di attributi inventati, la personalizzazione diventa una fonte di errore sistematico. Il modello ti serve risposte basate su quello che crede di sapere, e tu non hai modo di distinguere la parte vera da quella inventata.

Per chi costruisce agenti con memoria, la questione è ancora più concreta. Se il tuo agente personalizza le risposte in base a un profilo utente che si autoaggiorna, e quel profilo contiene il 40% di invenzioni, stai servendo risposte sbagliate al 40% dei casi senza che nessuno se ne accorga.

Cosa dice il paper

I ricercatori hanno costruito MirageBench, un banco di prova con 150 persone fittizie bilanciate in tre gruppi: profili stereotipici (uno sviluppatore che vive di caffè), contro-stereotipici (uno sviluppatore che beve solo tisane) e neutrali. Sei task di personalizzazione, dal concreto (“raccomanda un prodotto basandoti sul profilo”) allo speculativo (“immagina cosa direbbe questa persona in una certa situazione”), disposti lungo un gradiente di immaginazione.

Hanno fatto girare 12 modelli di 7 famiglie diverse. Il giudice è un modello esterno indipendente, validato contro un annotatore umano alla cieca su 400 affermazioni: Cohen’s kappa a quattro classi di 0,863, binario di 0,900. Sono stati valutati 143.616 affermazioni in totale.

I numeri chiave:

• Over-inference pervasive. Ogni singolo modello, senza eccezione, over-inferisce tra il 35% e il 49% delle proprie affermazioni sul profilo utente. La media cross-modello è 41,6%.
• Self-Monitoring Inversion. I modelli che si autovalutano dicendo “sto attento, non invento” sono proprio quelli che inventano di più. La correlazione negativa tra autovalutazione e realtà misurata dal giudice è forte (rho = -0,60), anche se gli autori la definiscono esplorativa dato il campione ridotto.
• Autovalutazione interna funziona, comparativa no. Dentro un singolo modello, l’auto-audit ordina abbastanza bene le proprie affermazioni dal più al meno affidabile (AUROC tra 0,58 e 0,83). Ma se usi l’autovalutazione per confrontare due modelli e scegliere il più affidabile, il segnale è capovolto.
• Dipendenza dal task. L’over-inference varia tra il 27% e il 59% a seconda del compito. Alcuni task scatenano più immaginazione di altri.
• Accumulo lineare. In un test multi-turno pilota, gli attributi inventati si accumulano in modo approssimativamente lineare, con poca revisione. Il modello non torna indietro a correggere un’assunzione infondata: la aggiunge al profilo e ci costruisce sopra.

Quanto fidarsi

Il paper dichiara i suoi limiti con onestà, e alcuni sono importanti.

La Self-Monitoring Inversion è il risultato più vistoso, ma gli autori stessi lo etichettano come esplorativo. Il campione è di 12 modelli, e l’intervallo di confidenza bootstrap è molto ampio ([-0,90, +0,06]). La correlazione negativa c’è, ma la certezza statistica non è solida.

Il test multi-turno è un pilota, non uno studio completo. L’accumulo lineare con poca revisione è un segnale preoccupante, ma va confermato su scala.

Il giudice automatico è validato contro un solo annotatore umano su 400 affermazioni. Il kappa è alto, ma un annotatore è un campione sottile per misurare l’accordo.

I 12 modelli e 7 famiglie coprono il panorama attuale, ma l’abstract non li elenca per nome. Se manca un modello che usi, il risultato potrebbe non applicarsi a quello.

Lavoro sull’abstract: il paper è uscito il 5 agosto su arXiv e Hugging Face, e in questa sede ho potuto leggere l’abstract e i metadati, non il testo completo.

Cosa farne

La lezione pratica è diretta: non fidarti dell’autovalutazione del modello per scegliere quale modello usare. Se chiedi a un modello “quanto sei affidabile nel costruire profili utente?”, la risposta non ti dice quello che ti serve. I modelli più sicuri di sé sono, in questo test, quelli che sbagliano di più.

Per chi usa assistenti con memoria:

• Tratta il profilo utente come una bozza, non come un factsheet. Se l’assistente ha salvato un profilo su di te, leggilo ogni tanto. ChatGPT te lo mostra: vai in Settings, Memory, e controlla cosa ha dedotto. Troverai attributi corretti, altri no, altri che non hai mai detto.
• Verifica la personalizzazione con domande di controllo. Se il modello ti suggerisce qualcosa “perché sai che preferisci X”, chiediti se gliel’hai mai detto davvero.

Per chi costruisce agenti con memoria:

• Metti la verifica esterna nel flusso. Se il tuo agente costruisce profili, un controllo esterno (un secondo modello, un set di regole, un campione umano) è più affidabile dell’auto-monitoraggio. Il paper lo dice chiaro: la verifica esterna batte l’auto-rapporto come fondazione per una personalizzazione di cui ci si può fidare.
• Non dare per scontato che la memoria migliori col tempo. Il pilota multi-turno mostra accumulo lineare senza revisione. Come raccontavamo il 5 agosto nel radar sui benchmark convergenti sugli agenti, la domanda se un agente che ricorda diventa anche un agente che impara trova qui un primo elemento di risposta: accumula, non corregge.

Cosa NON concludere. Il paper non dice che la personalizzazione non funziona. Non dice che la memoria persistente è inutile. Dice che la fiducia nel profilo va guadagnata con verifica, non data per scontata perché il modello dice di saperci fare.

Dove approfondire

• Il tema della memoria agentica come scelta di design è raccontato in Memoria e contesto: lo stato dell’arte, e nel radar sul costo della memoria agentica come criterio di design.
• Per l’autovalutazione dei modelli come segnale ingannevole, il parallelo è con Sycophancy: il modello che ti dà ragione: anche lì il modello ti dice quello che ti fa comodo sentire.
• Per costruire un sistema di verifica che non si affidi al modello stesso, il playbook Confronta due modelli in un quarto d’ora ti fa mettere due modelli a confronto su task identici con i tuoi dati, invece di fidarti dei loro autopareri.