Incolli un documento lungo, fai una domanda, e l’assistente risponde bene se la risposta era all’inizio o in fondo, ma la manca se stava nel mezzo. Non è una tua impressione: è un effetto misurato. Nel 2023 un gruppo di Stanford e Berkeley (Nelson Liu e colleghi) ha mostrato che i modelli usano male le informazioni che stanno al centro di un contesto lungo, e ha dato al fenomeno il nome che porta ancora oggi.

Perché conta per te

È la ragione pratica per cui l’ordine in cui incolli le cose cambia la risposta. Se metti la parte importante a metà di un lungo blocco di testo, la stai mettendo nel punto peggiore. Sapere questo trasforma un gesto passivo (butto dentro tutto) in una scelta (decido cosa va in cima, cosa in fondo, cosa fuori). Vale per ogni compito in cui dai al modello più materiale di una schermata: un contratto, un thread lungo, una raccolta di documenti.

Cosa dice il paper

Gli autori costruiscono una prova pulita. Danno al modello una domanda e una serie di documenti, di cui uno solo contiene la risposta, e spostano quel documento in posizioni diverse: all’inizio della pila, in mezzo, alla fine. Se il modello usasse bene tutto il contesto, la posizione non dovrebbe contare. Invece conta, e molto: le prestazioni disegnano una U. Sono alte quando l’informazione giusta sta all’inizio, restano alte quando sta alla fine, e crollano quando sta nel mezzo. In alcuni casi un modello con l’informazione sepolta al centro fa peggio di uno che non riceve alcun documento e risponde a memoria.

Il colpo è che questo succede anche con i modelli venduti come «a contesto lungo», quelli che accettano moltissimo testo. Accettare molto testo e usarlo bene sono due cose diverse: la finestra grande dice quanto entra, non quanto viene letto davvero. Gli autori lo verificano su due compiti (rispondere pescando in più documenti, e ritrovare una coppia chiave-valore in una lista lunga) e il profilo a U compare in entrambi.

Quanto fidarsi

Il paper è del 2023 e i modelli migliorano, quindi la forma esatta della U cambia da modello a modello e nel tempo. Tre precisazioni.

La prima: «peggiora nel mezzo» è una tendenza statistica, non una legge assoluta. Un modello recente può recuperare meglio il centro di prima; ma finché la tendenza esiste, ignorarla è un rischio gratuito. Nessuno ti obbliga a mettere la cosa importante nel punto debole.

La seconda: il test è mirato (una sola informazione rilevante, il resto distrattori). Nei compiti veri il materiale utile è spesso sparso in più punti, e il quadro è più complicato. Ma la lezione di fondo, che la posizione conta, regge.

La terza: la cura non è «non usare contesti lunghi». È usarli con criterio. Un contesto lungo ben ordinato, con la parte importante ai margini e il rumore tolto, funziona; un contesto lungo buttato dentro alla rinfusa spreca metà di ciò che contiene.

Cosa farne

La regola pratica è corta e la applichi subito: metti ai margini quello che conta. L’obiettivo e la domanda in cima, il materiale più importante all’inizio o alla fine del blocco, il meno rilevante nel mezzo dove il modello guarda peggio. E togli il rumore: ogni pezzo inutile non è neutro, spinge le cose importanti verso il centro debole. Se un documento è enorme, non darlo intero e sperare: dallo a pezzi, o estrai prima le parti che servono.

Cosa non concludere: che una finestra di contesto grande risolva il problema di darle troppo. Il numero sulla scatola dice quanto testo entra, non quanto ne viene usato bene. La finestra grande è comoda, non è una delega a non pensare a cosa ci metti dentro.

Dove approfondire

Il playbook «Il contesto giusto al primo colpo» trasforma questo risultato in un metodo: obiettivo in cima, materiale etichettato, domanda in fondo, rumore fuori. È questo paper applicato al prompt che scrivi oggi.