Un position paper su OpenReview, intitolato «LLMs Can’t Jump», raggiunge 165 punti su Hacker News con 116 commenti. La tesi nel titolo: i modelli linguistici hanno un limite fondamentale nel compiere salti logici, cioè nel collegare informazioni che non sono vicine nello spazio di ciò che hanno visto in addestramento.

Perché ti riguarda. Se costruisci workflow che aspettano dall’AI il lampo che collega due idee lontane, questo paper dice che il lampo non arriva da solo. I modelli interpolano bene dentro il loro training data, ma faticano a extrapolare oltre. La differenza conta quando il compito richiede un passo che non è già nel materiale visto: lì l’AI ti restituisce la risposta plausibile più vicina; la risposta giusta richiede un salto logico.

È lo stesso filo che abbiamo seguito parlando di come l’expertise di chi guida il modello conti più dei trucchi di prompting: il salto logico lo fa la persona che conosce il dominio, l’AI lo articola e lo sviluppa. Un paper che formalizza questo limite ti dice dove delegare e dove tenere il giudizio umano nel ciclo.

Nel dettaglio

La pagina OpenReview del paper non era accessibile al momento della raccolta (richiede verifica del browser), quindi quanto segue si basa sul titolo, sul contesto della discussione su Hacker News e sul filo di ricerca che il sito ha seguito nelle settimane scorse.

Cosa sono i position paper. Nei venue di machine learning come OpenReview, un «position paper» non presenta un esperimento nuovo: argomenta un punto di vista, spesso per stimolare il dibattito su una direzione di ricerca o su un limite che la comunità sottostima. Il formato permette di dire «fermiamoci a pensare» senza dover necessariamente mostrare curve di accuratezza.

Il salto che manca. Il titolo usa una metafora sportiva: il cavallo che non salta l’ostacolo. Nel contesto del ragionamento, un «salto logico» è quel passaggio che collega due idee o due dati che non sono vicini nello spazio delle informazioni viste in addestramento. I modelli sono bravi a interpolare: trovare la risposta che sta in mezzo a due cose che conoscono. Faticano di più a extrapolare: fare il passo che va oltre ciò che hanno visto.

Questo non è un limite nuovo di per sé. La letteratura sul ragionamento degli LLM discute da tempo la differenza fra interpolazione e extrapolazione. Il paper sembra argomentare che questo limite sia strutturale, non un bug da risolvere con più dati o più parametri. Il punto conta perché, se vero, cambia le aspettative: un modello più grande risponde meglio alle domande che somigliano al suo training data, ma non necessariamente fa il collegamento creativo che un esperto umano vede.

Dove si inserisce nel filo del sito. Il 4 agosto raccontavamo come l’analisi di Sean Goedecke mostrasse che l’expertise di chi guida il modello conta più dei trucchi di prompting: la competenza reale nel dominio produce output migliori perché chi la ha sa dove cercare il salto logico. Lo stesso giorno, il paper su GradCuit mostrava che ottimizzare gli stati interni al test time migliora il ragionamento senza più token. Due angoli diversi dello stesso problema: quanto del ragionamento possiamo delegare e quanto resta irriducibilmente umano.

Cosa non sappiamo ancora. Senza accesso al testo completo, non possiamo verificare se il paper presenti esempi concreti di salti logici falliti, se proponga metriche per misurarli, o se si limiti a un’argomentazione teorica. I 116 commenti su Hacker News suggeriscono che la tesi ha sollevato dibattito, ma non possiamo citare i dettagli delle obiezioni senza averle lette. Il paper va letto prima di trarre conclusioni operative.