Sean Goedecke publie une analyse qui a recueilli près de 800 points sur Hacker News : les LLM produisent de meilleurs résultats quand celui qui les utilise a une véritable compétence dans le domaine. Les astuces de prompting génériques comptent moins qu’on le croit.

L’exemple central est la conversation de Terence Tao avec ChatGPT sur le contre-exemple à la conjecture jacobienne. Tao écrit des messages courts, va droit au but, ne suit pas les suggestions du modèle sur la direction à prendre. Il pose des questions précises comme « X fonctionne-t-il ici ? » ou « étant donné Y et Z, pourquoi A ? ». Le résultat est une conversation dense et technique, qui n’a pas grand-chose à voir avec « explique-moi comme à un enfant ».

Pourquoi c’est important pour toi : l’idée reçue selon laquelle il suffit de « bien prompt-er » pour obtenir de bons résultats est fausse. Celui qui connaît son domaine sait reconnaître quand une réponse semble étrange, peut proposer des approches alternatives, et sait dire « ça devrait être plus simple ici ». Celui qui n’a pas de compétence s’accroche à la réponse du modèle et la prend pour argent comptant. La partie difficile du travail avec l’IA est de communiquer exactement quel type de solution tu veux, et pour le faire, il faut savoir ce que tu cherches. Le goulot d’étranglement, c’est celui qui guide la conversation.

En détail

Le débat sur qui est « doué avec l’IA » a traversé différentes phases. On a commencé avec le « prompt engineering » comme compétence séparée, qu’on pouvait apprendre avec des listes d’astuces. Puis s’est diffusée l’idée que les modèles étaient devenus tellement capables que tout le monde obtient les mêmes résultats. Goedecke attaque cette deuxième position avec un argument concret.

L’exemple de Terence Tao est instructif parce qu’il montre un pattern d’interaction qu’on ne peut pas reproduire en copiant les mouvements. Tao écrit des messages très courts et répond uniquement à l’essentiel. Il pousse le modèle en mode « je parle avec un mathématicien » simplement par la façon dont il formule les questions. Quand quelque chose ne colle pas, il dit « ça semble plus complexe que ce que j’espérais » au lieu de contredire directement. Il fait des sauts et des propositions lui-même, suit rarement les suggestions du modèle sur la prochaine étape.

Le point de Goedecke est que tu ne peux pas prompt-er comme Tao en suivant cette liste. La technique fonctionne parce que Tao comprend les mathématiques. Il sait extraire l’idée pertinente d’une réponse longue, proposer des approches alternatives, reconnaître ce qui « semble étrange ». C’est la compétence qui permet la technique.

Goedecke rapporte la même dynamique dans son travail de programmeur. Quand il a une théorie solide de sa propre codebase, il peut pousser l’LLM beaucoup plus loin : dire « ça devrait être plus simple », ou « on ne fait pas déjà X ? », ou « on peut formuler le problème en ces termes ? ». Sans cette familiarité, il se limite à accepter ce que le modèle produit.

La discussion sur Hacker News (332 commentaires) montre deux réactions. Beaucoup partent du constat : la compétence aide, son absence fait mal. D’autres expriment un soupçon légitime : cette thèse est rassurante pour celui qui a une compétence et veut se sentir encore utile. Goedecke le reconnaît et note que quand arriveront des études systématiques, le panorama aura déjà changé.

Une objection technique des commentaires : les prompts mathématiques d’OpenAI ne montrent pas d’expertise particulière. Goedecke répond qu’OpenAI a une équipe de mathématiciens qui filtre et vérifie les découvertes du modèle, et on ne peut pas sauter cette étape.

L’implication pratique est directe. Si tu veux obtenir plus des LLM dans ton domaine, la chose la plus utile que tu puisses faire est d’approfondir ta connaissance du domaine, ainsi tu peux guider le modèle au lieu de le suivre. C’est le même principe derrière savoir écrire des instructions qui fonctionnent : reconnaître un bon résultat demande de savoir ce que tu cherches.