Sean Goedecke pubblica un’analisi che ha raccolto quasi 800 punti su Hacker News: gli LLM producono output migliore quando chi li usa ha competenza reale nel dominio. I trucchi di prompting generici contano meno di quanto si creda.

L’esempio centrale è la conversazione di Terence Tao con ChatGPT sul controesempio alla congettura giacobiana. Tao scrive messaggi corti, va dritto al punto, non segue i suggerimenti del modello su dove andare avanti. Fa domande specifiche come “funziona X qui?” o “dato Y e Z, perché A?”. Il risultato è una conversazione densa e tecnica, che poco ha a che fare con il “spiegami come a un bambino”.

Perché ti riguarda: l’idea diffusa che basti “saper prompt-are” per ottenere risultati buoni è sbagliata. Chi conosce il proprio campo sa riconoscere quando una risposta sembra strana, può suggerire approcci alternativi, e sa dire “dovrebbe essere più semplice qui”. Chi non ha competenza si aggrappa all’output del modello e lo prende per buono. La parte difficile del lavoro con l’AI è comunicare esattamente che tipo di soluzione vuoi, e per farlo serve sapere cosa stai cercando. Il collo di bottiglia sta in chi guida la conversazione.

Nel dettaglio

Il dibattito su chi sia “bravo con l’AI” ha attraversato fasi diverse. Si è partiti con il “prompt engineering” come competenza separata, imparabile con liste di trucchi. Poi si è diffusa l’idea che i modelli siano diventati così capaci che chiunque ottiene gli stessi risultati. Goedecke attacca questa seconda posizione con un argomento concreto.

L’esempio di Terence Tao è istruttivo perché mostra un pattern di interazione che non si può replicare copiando le mosse. Tao scrive messaggi brevissimi e risponde solo al nocciolo. Spinge il modello in modalità “parlo con un matematico” semplicemente per come formula le domande. Quando qualcosa non torna, dice “questo sembra più complesso di quanto sperassi” invece di contraddire direttamente. Fa salti e proposte sue, quasi mai segue i suggerimenti del modello sul prossimo passo.

Il punto di Goedecke è che non puoi prompt-are come Tao seguendo questa lista. La tecnica funziona perché Tao capisce la matematica. Sa estrarre l’idea rilevante da una risposta lunga, proporre approcci alternativi, riconoscere cosa “sembra strano”. È la competenza che abilita la tecnica.

Goedecke riporta la stessa dinamica nel suo lavoro di programmatore. Quando ha una teoria solida della propria codebase, può spingere l’LLM molto più lontano: dire “dovrebbe essere più semplice”, oppure “non facciamo già X?”, o “possiamo formulare il problema in questi termini?”. Senza quella familiarità, si limita ad accettare quello che il modello produce.

La discussione su Hacker News (332 commenti) mostra due reazioni. Molti condividono l’esperienza: la competenza aiuta, la sua mancanza fa male. Altri esprimono un sospetto legittimo: questa tesi è rassicurante per chi ha competenza e vuole sentirsi ancora utile. Goedecke lo riconosce e nota che quando arriveranno studi sistematici il panorama sarà già cambiato.

Un’obiezione tecnica dai commenti: i prompt matematici di OpenAI non mostrano expertise particolare. Goedecke risponde che OpenAI ha un team di matematici che filtra e verifica le scoperte del modello, e quel passo non si può saltare.

L’implicazione pratica è diretta. Se vuoi ottenere di più dagli LLM nel tuo campo, la cosa più utile che puoi fare è approfondire la tua conoscenza del dominio, così da poter guidare il modello invece di seguirlo. È lo stesso principio che sta dietro a saper scrivere istruzioni che funzionano: riconoscere un buon risultato richiede di sapere cosa stai cercando.