Un gruppo di ricercatori ha pubblicato K12-KGraph, un grafo della conoscenza allineato al curriculum scolastico, per misurare un’abilità che i benchmark attuali ignorano: la curriculum cognition. Invece di chiedere al modello se sa la risposta a una domanda isolata, il benchmark verifica se capisce come la conoscenza è organizzata. Catene di prerequisiti (cosa devi sapere prima di imparare X), tassonomie di concetti, collegamenti fra esperimenti e concetti, l’ordine pedagogico corretto, e il riconoscimento visivo di un concetto da un’immagine.

Perché ti riguarda. Se costruisci agenti che lavorano in domini strutturati, ragionare su cosa viene prima e cosa dopo è ciò che separa un assistente utile da uno che salta i passaggi. La differenza fra un collega che sa scomporre un problema e uno che parte dalla fine. Oggi i modelli vengono valutati sulle risposte finali, anziché su questa capacità di orientarsi nella struttura, e il risultato è che nessuno sa quanto bene la gestiscono davvero.

Il benchmark (dati nel paper pubblicato il 22 luglio 2026 su Hugging Face) copre 9 tipi di nodi, 14 tipi di relazioni, 23.640 domande di test e 7.335 esempi di addestramento, di cui 5.068 multimodali. Gli autori mostrano che combinare supervisione testuale e visiva migliora la comprensione del curriculum. Grafo, benchmark, dati di training e pipeline di costruzione sono open-source.

Nel dettaglio

Cosa c’era prima.

I benchmark per gli LLM educativi si sono concentrati finora sulla risposta a domande d’esame. Un modello supera il test se dà la risposta giusta, ma nessuno controlla se ha capito perché quella risposta viene dopo un’altra, o quale concetto è prerequisito di quale. È la differenza fra sapere che 3 × 4 = 12 e sapere che la moltiplicazione richiede di aver già interiorizzato l’addizione.

Cosa cambia.

K12-KGraph introduce un grafo della conoscenza estratto dai libri di testo della People’s Education Press, l’editoriale scolastico ufficiale cinese. Un grafo della conoscenza è una rete di concetti collegati da relazioni esplicite: “A è prerequisito di B”, “A è un caso particolare di B”, “l’esperimento E illustra il concetto C”. Il benchmark, invece di chiedere ‘qual è la risposta?’, chiede al modello di ricostruire o verificare queste relazioni.

La novità è che misurare questa capacità è utile anche fuori dalla scuola. Qualsiasi agente che opera in un dominio con struttura di conoscenza, dalla formazione aziendale al supporto tecnico, deve sapere cosa spiegare prima e cosa dopo. Se un agente di onboarding salta i prerequisiti e parte dai dettagli avanzati, il risultato è confusione anziché apprendimento.

I dettagli tecnici.

Il grafo ha 9 tipi di nodi (concetti, esperimenti, figure, capitoli, ecc.) e 14 tipi di relazioni. Le 23.640 domande di test coprono diverse sotto-abilità: identificare prerequisiti, costruire tassonomie, collegare esperimenti a concetti, stabilire l’ordine pedagogico, e riconoscere concetti da immagini (visual grounding). I 5.068 esempi multimodali sono quelli in cui il modello deve leggere sia il testo sia un’immagine per rispondere.

Gli autori hanno addestrato modelli sui 7.335 esempi di training e scoperto che la combinazione di testo e immagini produce una comprensione del curriculum più forte del solo testo. È un segnale che l’informazione visiva conta, e che i modelli puramente testuali perdono qualcosa quando il dominio ha una componente visiva strutturata (schemi, diagrammi, figure didattiche).

Limiti.

Il grafo è costruito su un curriculum specifico, quello cinese della scuola primaria e secondaria. La struttura dei prerequisiti riflette le scelte pedagogiche di un sistema educativo, non una verità universale. Un modello bravo su questo grafo non è necessariamente bravo a ricostruire i prerequisiti di, per esempio, un regolamento tecnico o di un percorso di certificazione professionale. Il dataset di training è inoltre piccolo rispetto agli standard del fine-tuning su LLM.

Il punto è che questo benchmark, più che risolvere il problema della comprensione strutturale, lo nomina e lo rende misurabile. Fino a ieri, nessuno testava questa cosa in modo sistematico.