Andrej Karpathy a publié sur YouTube une courte vidéo dans laquelle il aborde le puzzle des 64 cubes de sucre, un problème de résolution visuelle de problèmes qui demande d’imaginer et de combiner des objets dans l’espace. La discussion sur Hacker News a dépassé l’anecdote, avec des contributions sérieuses sur ce que les puzzles visuels révèlent des capacités de reasoning et de planning des modèles.

Les modèles de langage sont devenus compétents pour raisonner sur le texte et le code, mais le raisonnement spatial et visuel reste un territoire moins exploré. Un puzzle qu’une personne résout en regardant et en manipulant des objets physiques est un bon terrain d’essai pour comprendre où l’IA se débrouille seule et où elle a besoin de représentations externes, de feedback itératif ou d’outils supplémentaires.

La question qui traverse la discussion sur HN est la même que celle qui revient dans chaque projet d’agents : comprendre si le modèle sait planifier une séquence d’étapes vers un objectif ou s’il se perd en chemin. C’est la différence entre demander à un assistant de résoudre une équation et lui demander d’organiser un espace physique en tenant compte des contraintes géométriques.

En détail

Le raisonnement des modèles de frontier a été testé surtout sur le texte et les mathématiques. GPT-5.6 Sol a démontré des conjectures mathématiques ouvertes depuis des décennies, et la discussion publique s’est concentrée sur la capacité des modèles à « penser » en symboles. Le puzzle des cubes de sucre déplace l’attention sur un type différent de raisonnement : celui spatial et visuel, où le problème doit être résolu en imaginant ou en manipulant des objets dans un espace tridimensionnel.

Ce qui rend ce cas intéressant.

Karpathy n’est pas un observateur ordinaire. Ancien directeur de l’IA chez Tesla et l’un des chercheurs les plus écoutés en deep learning, il possède la rare capacité de choisir des exemples qui isolent un problème conceptuel. Le fait qu’il ait choisi un puzzle visuel suggère qu’il le considère comme un terrain d’essai pour une capacité que les modèles actuels ne maîtrisent pas encore.

Ce qui se passe dans le raisonnement spatial.

Le raisonnement spatial demande au modèle de construire et de maintenir une représentation de l’espace : où sont les objets, comment se combinent-ils, quelle configuration atteint l’objectif. Et de mettre à jour cette représentation à chaque étape. Dans les modèles de langage, cette carte est implicite et doit être reconstruite à partir du texte, non pas de l’observation directe. C’est la raison pour laquelle un modèle peut résoudre une équation mais buter sur un problème qu’un enfant résout simplement en regardant.

Ce que cela signifie pour ceux qui utilisent l’IA.

Si tu construis des agents ou des workflows qui demandent du raisonnement sur l’espace, la mise en page ou les configurations physiques, le point est pratique : le modèle seul pourrait ne pas suffire. Il faut lui donner une représentation externe du problème ou un feedback itératif, comme tu le ferais avec un collègue qui raisonne mieux avec un dessin sous les yeux. Le principe est le même que celui que trois papers convergents ont montré pour le raisonnement textuel : les outils et le contexte que tu donnes à l’agent comptent plus que la puissance du modèle.

Les limites.

La vidéo est courte et n’est pas une étude formelle. Il n’y a pas de chiffres, de comparaisons entre modèles ou de méthodologies reproductibles. La discussion sur Hacker News reste une conversation, non un benchmark. Le puzzle pose cependant une question légitime et vérifiable : mesurer la valeur du raisonnement spatial des modèles actuels et déterminer où il est opportun de les intégrer avec des outils qui les aident à opérer sur l’espace plutôt que de l’imaginer à partir du texte.