NVIDIA ha pubblicato Molt, un framework di addestramento per reinforcement learning agentico scritto in PyTorch nativo. L’obiettivo è tenere basso il costo di ogni iterazione di ricerca.

Oggi, modificare un algoritmo di training agentico in un framework mainstream significa attraversare strati diversi: trainer, backend distribuito, e glue del rollout. Lavoro infrastrutturale che ricade sul ricercatore a ogni esperimento. Molt comprime quegli strati in un codebase compatto, abbastanza pulito perché un ricercatore lo tenga in testa, e abbastanza leggibile perché un assistente di coding AI lo legga tutto e ci ragioni sopra.

Per chi sperimenta con agenti e li addestra, questo significa meno tempo a combattere con la plumbatura e più tempo a provare idee. Il paper riporta che, a parità di protocollo asincrono, Molt è statisticamente comparabile a uno stack basato su Megatron: la leggerezza non costa prestazioni.

Il filone che rende il training degli agenti accessibile fuori dai lab proprietari sta crescendo: come raccontavamo il 25 luglio con OpenForgeRL, che chiudeva il gap fra harness proprietari e training aperto, Molt spinge ora sulla leggibilità del codice.

Il codice è open source con recipe e container su GitHub.

Se vuoi provarci: il repo con recipe e container è su github.com/NVIDIA-NeMo/labs-molt.

Nel dettaglio

Il reinforcement learning agentico è ricerca fatta di sperimentazione continua: nuovi stimatori, nuove fasi di pipeline, nuovi schemi di rollout. Nei framework mainstream, ogni modifica deve propagarsi attraverso tre strati con logiche diverse. Il trainer orchestra l’addestramento. Il backend distribuito gestisce la comunicazione fra GPU. Il glue del rollout raccoglie le esperienze dell’agente nell’ambiente. Più gli strati sono accoppiati, più il costo di ogni esperimento cresce, e quel costo ricade sul ricercatore ogni volta.

Cosa cambia con Molt. Il principio guida è semplice: il codebase deve essere abbastanza piccolo da starci in testa, e abbastanza pulito perché un assistente di coding AI possa leggerlo per intero e modificarlo end-to-end. È una scelta di architettura che privilegia la modificabilità. L’agente è trattato come un programma ordinario, e un singolo loop asincrono gestisce il training di policy multimodali e mixture-of-experts. Un dettaglio rilevante: il sistema non addestra mai su token che il modello non ha generato, mantenendo la coerenza fra token, versioni della policy e semantica del modello. Questo evita una classe di bug sottili che nei framework tradizionali emergono quando il rollout e il training si desincronizzano.

Il confronto con Megatron. Sotto un protocollo asincrono e matched, Molt risulta statisticamente comparabile a uno stack basato su Megatron. Il paper sostiene un’affermazione precisa: la compattezza non costa prestazioni. Per un ricercatore, la differenza sta nel ciclo di modifica: cambiare un estimatore o aggiungere una fase di pipeline significa toccare un codebase che si capisce, non tre layer accoppiati dove ogni modifica ha effetti a cascata.

I limiti. Il confronto è auto-riferito: NVIDIA costruisce lo strumento e misura le prestazioni. “Statisticamente comparabile” significa che i risultati rientrano in intervalli di confidenza sovrapposti, non che Molt domini. La rivendicazione di compattezza è qualitativa: il paper non propone una metrica formale di leggibilità, si basa sul fatto che il codebase sia “compatto e pulito” a detta degli autori. Il design è pensato per ricercatori che fanno RL agentico con accesso a GPU multiple: se il tuo caso d’uso è addestrare un agente su un task specifico con risorse modeste, Molt potrebbe essere sovradimensionato. Le recipe e i container pubblicati aiutano a partire, ma la curva di ingresso resta quella di chi sa già cosa sia un rollout asincrono.

Il codice è aperto su GitHub con recipe e container. Per chi segue il filone dell’addestramento agentic open-source, è un altro passo verso la modificabilità: framework pensati per essere letti e cambiati, non solo eseguiti.