Si tu as déjà ajouté « montre-moi les étapes » à une demande et obtenu une meilleure réponse, tu as utilisé sans le savoir le résultat de ce papier. La question à laquelle il répond est simple : demander au modèle d’écrire son raisonnement avant la réponse le rend-il meilleur ? En 2022, une équipe de Google (Jason Wei et ses collègues) a mesuré que oui, mais seulement à partir de modèles assez grands. Le nom qu’ils ont donné à la technique, chain-of-thought, est entré dans le vocabulaire de quiconque écrit des prompts.

Pourquoi ça te concerne

C’est l’explication d’un geste que tu fais probablement déjà. Quand un assistant te donne un total faux, une classification bâclée ou une estimation sortie de nulle part, la défense la plus simple est de l’obliger à travailler à découvert : liste les étapes, montre le calcul, puis conclus. Ce papier dit pourquoi ce geste aide et, surtout, quand il ne sert à rien. Connaître la limite t’évite de gaspiller des mots avec de petits modèles, où le truc ne mord pas, et de trop te fier aux étapes que tu lis : elles ressemblent à une preuve, mais n’en sont pas toujours une.

Ce que dit le papier

L’idée est minimale. Dans le prompt, au lieu de montrer au modèle seulement des exemples de question et réponse, tu lui montres des exemples où, entre la question et la réponse, se trouve le raisonnement écrit en entier : « Roger a 5 balles, il achète 2 paquets de 3, donc 5 plus 6 font 11. » Quelques exemples de ce genre suffisent (le papier en utilise huit) pour que le modèle imite le style et, face à une question nouvelle, écrive lui aussi les étapes avant de répondre.

Le résultat qui a fait du bruit porte sur GSM8K, un ensemble de problèmes de maths de niveau primaire, du type à plusieurs étapes où se tromper sur un morceau gâche tout. Avec seulement les exemples raisonnés ajoutés, le plus grand modèle de l’époque (PaLM, 540 milliards de paramètres) atteint la toute première place sur ce banc d’essai, battant même un GPT-3 entraîné exprès et accompagné d’un vérificateur externe. Sur les plus grands modèles, sur le problème le plus difficile du lot, le score fait plus que doubler par rapport au prompting normal. Le gain se voit aussi sur le raisonnement arithmétique, de sens commun et symbolique, et il croît d’autant plus que le problème a d’étapes : sur les questions à une seule étape la différence est petite, sur celles à plusieurs étapes elle est grande.

Le point le plus important du papier n’est pas le chiffre, c’est la condition. Le chain-of-thought est émergent avec l’échelle : en dessous d’une certaine taille de modèle il n’aide pas, et parfois aggrave les choses, parce que le petit modèle écrit un raisonnement décousu puis s’y appuie. Au-dessus du seuil (dans le papier, autour de cent milliards de paramètres pour les modèles de l’époque) le bénéfice apparaît et grandit. Ce n’est pas une recette qui vaut toujours : c’est une capacité qui s’allume quand le modèle est assez grand.

À quel point s’y fier

Le papier est solide sur ce qu’il mesure et honnête sur ses bords. Trois choses méritent d’être gardées en tête avant de généraliser.

D’abord : les chiffres datent de 2022, sur des modèles de cette génération. Les modèles d’aujourd’hui raisonnent souvent par étapes tout seuls, sans que tu le demandes, et certains ont un mode de raisonnement dédié. Le gain marginal du « raisonne étape par étape » sur un modèle moderne peut donc être bien plus petit que celui rapporté ici : la technique reste valable comme principe, mais n’attends pas les mêmes bonds.

Ensuite : le raisonnement écrit n’est pas une garantie. Le modèle produit une chaîne d’étapes plausible, et il lui arrive d’arriver à la bonne réponse avec de mauvaises étapes, ou à la mauvaise réponse avec des étapes qui semblent correctes. Lire les étapes t’aide à contrôler, mais ce n’est pas une preuve : c’est un texte que le modèle a généré comme tout le reste. Traite-les comme une piste à vérifier, pas comme une preuve.

La troisième est une précision de paternité, utile pour ne pas se tromper de technique. Ce papier introduit le chain-of-thought avec des exemples : tu lui montres quelques raisonnements bien faits, et il les imite. La petite formule que tout le monde connaît, « pense étape par étape » ajouté à une question sans exemples, vient d’un travail ultérieur de la même lignée (Kojima et ses collègues, également 2022) : ça marche, mais c’est un peu différent et en général moins puissant que les exemples raisonnés. Quand une tâche compte vraiment, montrer deux ou trois étapes bien faites bat presque toujours la simple invitation à y réfléchir.

Qu’en faire

La règle pratique qui sort du papier est courte. Quand la tâche a plusieurs étapes (un calcul, une estimation, une classification avec des critères, une déduction à partir de faits épars) demande au modèle d’écrire les étapes avant la conclusion, et si tu le peux, montre-lui un exemple du raisonnement que tu attends. Tu obtiendras de meilleures réponses et, tout aussi utile, vérifiables : si le total est faux, tu vois à quelle étape ça a dérapé.

Ce qu’il ne faut pas conclure. Que le modèle « raisonne » comme une personne : il continue un texte dans un style que tu lui as montré, et le fait que le texte ressemble à un raisonnement ne veut pas dire qu’un raisonnement se produit à l’intérieur. Et ne conclus pas que plus d’étapes, c’est toujours mieux : sur une question triviale, forcer le modèle à dérouler un raisonnement ajoute des mots, du coût et des occasions de se tromper, sans améliorer la réponse. Le chain-of-thought est un levier pour les problèmes difficiles, pas un assaisonnement à mettre sur tout.

Où approfondir

Le chapitre « Donner des instructions qui marchent » du parcours pro transforme ce résultat en une façon d’écrire les demandes, et « Faire confiance à la juste mesure » aborde le piège des étapes qui convainquent mais ne prouvent pas.