Un groupe de chercheurs a publié K12-KGraph, un graphe de connaissances aligné sur le curriculum scolaire, pour mesurer une capacité que les benchmarks actuels ignorent : la cognition curriculaire. Au lieu de demander au modèle s’il connaît la réponse à une question isolée, le benchmark vérifie s’il comprend comment la connaissance est organisée. Chaînes de prérequis (ce que tu dois savoir avant d’apprendre X), taxonomies de concepts, liens entre expériences et concepts, ordre pédagogique correct, et reconnaissance visuelle d’un concept à partir d’une image.

Pourquoi tu devrais t’en soucier. Si tu construis des agents qui travaillent dans des domaines structurés, raisonner sur ce qui vient avant et après est ce qui sépare un assistant utile d’un assistant qui saute les étapes. La différence entre un collègue qui sait décomposer un problème et un qui part de la fin. Aujourd’hui les modèles sont évalués sur les réponses finales, plutôt que sur cette capacité à s’orienter dans la structure, et le résultat c’est que personne ne sait vraiment à quel point ils la maîtrisent.

Le benchmark (données du paper publié le 22 juillet 2026 sur Hugging Face) couvre 9 types de nœuds, 14 types de relations, 23 640 questions de test et 7 335 exemples d’entraînement, dont 5 068 multimodaux. Les auteurs montrent que combiner la supervision textuelle et visuelle améliore la compréhension du curriculum. Graphe, benchmark, données d’entraînement et pipeline de construction sont open-source.

En détail

Ce qu’il y avait avant.

Les benchmarks pour les LLM éducatifs se sont concentrés jusqu’à présent sur la réponse aux questions d’examen. Un modèle réussit le test s’il donne la bonne réponse, mais personne ne vérifie s’il a compris pourquoi cette réponse vient après une autre, ou quel concept est prérequis de quel autre. C’est la différence entre savoir que 3 × 4 = 12 et savoir que la multiplication exige d’avoir déjà intériorisé l’addition.

Ce qui change.

K12-KGraph introduit un graphe de connaissances extrait des manuels scolaires de la People’s Education Press, l’éditeur scolaire officiel chinois. Un graphe de connaissances est un réseau de concepts liés par des relations explicites : « A est un prérequis de B », « A est un cas particulier de B », « l’expérience E illustre le concept C ». Le benchmark, au lieu de demander « quelle est la réponse ? », demande au modèle de reconstruire ou vérifier ces relations.

La nouveauté est que mesurer cette capacité est utile aussi en dehors de l’école. N’importe quel agent opérant dans un domaine avec une structure de connaissance, de la formation d’entreprise au support technique, doit savoir ce qu’il faut expliquer en premier et après. Si un agent d’onboarding saute les prérequis et part des détails avancés, le résultat c’est la confusion au lieu de l’apprentissage.

Les détails techniques.

Le graphe a 9 types de nœuds (concepts, expériences, figures, chapitres, etc.) et 14 types de relations. Les 23 640 questions de test couvrent différentes sous-compétences : identifier les prérequis, construire des taxonomies, relier les expériences aux concepts, établir l’ordre pédagogique, et reconnaître les concepts à partir d’images (visual grounding). Les 5 068 exemples multimodaux sont ceux où le modèle doit lire à la fois le texte et une image pour répondre.

Les auteurs ont entraîné des modèles sur les 7 335 exemples d’entraînement et découvert que la combinaison de texte et d’images produit une compréhension plus forte du curriculum que le seul texte. C’est un signal que l’information visuelle compte, et que les modèles purement textuels perdent quelque chose quand le domaine a une composante visuelle structurée (schémas, diagrammes, figures pédagogiques).

Limitations.

Le graphe est construit sur un curriculum spécifique, celui de l’école chinoise primaire et secondaire. La structure des prérequis reflète les choix pédagogiques d’un système éducatif, pas une vérité universelle. Un modèle performant sur ce graphe n’est pas nécessairement performant à reconstruire les prérequis d’, par exemple, un règlement technique ou d’un parcours de certification professionnelle. Le dataset d’entraînement est également petit comparé aux standards du fine-tuning sur LLM.

Le point est que ce benchmark, plutôt que de résoudre le problème de la compréhension structurale, le nomme et le rend mesurable. Jusqu’à hier, personne ne testait cette chose de manière systématique.