Un paper di HuggingFace presenta OpenForgeRL, un framework open-source per addestrare agenti che usano harness complessi come Claude Code o Codex. Finora il problema era pratico: gli stack di training aperti (SFT e RL) non riescono a gestire l’inferenza stateful e multi-processo che un harness reale richiede. Si poteva valutare un agente in un harness, ma non addestrarlo lì dentro.

OpenForgeRL lo risolve con due pezzi. Un proxy leggero intercetta le chiamate del modello durante l’uso del harness e le registra come dati di training per un codebase RL standard (veRL). Un orchestratore Kubernetes esegue ogni rollout in un container remoto separato. Training e inferenza vengono disaccoppiati: il modello impara nel vero ambiente in cui viene distribuito.

Come raccontavamo il 20 luglio, l’orchestrazione conta più del modello negli agenti in produzione. OpenForgeRL porta quel principio nel training: l’harness diventa il luogo dove l’agente impara, non solo dove lavora.

I risultati sono misurati. OpenForgeGUI raggiunge 37.7 su OSWorld-Verified e 72.3 su WebVoyager, superando baselines open di taglia simile e pareggiando modelli diverse volte più grandi. Il paper è onesto sui limiti: il recovery dagli errori resta debole anche dopo RL, e alcuni harness sono sostanzialmente più difficili da imparare di altri.

Se vuoi provarci: il codice è pubblico, ma serve un cluster Kubernetes e familiarità con stack RL come veRL. È ricerca riproducibile, non un pomeriggio di lavoro.

Nel dettaglio

L’idea di “harness” merita un chiarimento. Quando usi Claude Code o Codex, il modello non lavora da solo: un’architettura software attorno a lui gestisce il contesto, chiama gli strumenti, decide quando fermarsi e riprovare. Quell’architettura è l’harness. È quello che fa la differenza fra un modello che risponde a una domanda e un agente che completa un compito multi-passo.

Il problema del training è che questa architettura è stateful: mantiene uno stato fra una chiamata e l’altra, gira su processi separati, accede a filesystem e rete. Gli stack di reinforcement learning open-source come veRL assumono che un episodio di training sia una sequenza lineare di chiamate al modello. Un harness reale rompe quell’assunzione: ogni passo può spawnare subprocessi, scrivere file, fare chiamate di rete, e il risultato di un’azione dipende da tutto quello che è successo prima in modo non banale.

La soluzione di OpenForgeRL è elegante nella sua semplicità. Invece di modificare lo stack RL per capire l’harness, mette un proxy in mezzo. Il proxy fa da tramite per le chiamate del modello: l’harness pensa di parlare con il modello vero, il proxy registra tutto e poi rigioca la traiettoria per il training. Sul fronte orchestrazione, ogni episodio di training gira in un container Kubernetes isolato, così l’ambiente è pulito e riproducibile.

I numeri vanno letti nel loro contesto. Su ClawEval, OpenForgeClaw raggiunge 31.7 pass^3 e 55.9 pass@3 con poche centinaia o migliaia di task. Su benchmark GUI, OpenForgeGUI ottiene 37.7 su OSWorld-Verified e 72.3 su WebVoyager. Nel caso GUI, i risultati pareggiano o superano modelli diverse volte più grandi, il che suggerisce che il training nel harness vero conta più della scala del modello.

Il paper riporta due finding che contano per chi costruisce agenti. Primo: il RL migliora l’affidabilità dell’agente, in particolare l’autoverifica, la copertura degli strumenti e il completamento di piani multi-step. Secondo: il recovery dagli errori resta debole. Un agente addestrato con RL impara a usare meglio gli strumenti quando tutto va bene, ma non impara a riprendersi quando qualcosa si rompe a metà. È un limite strutturale, non un bug da fixare con più dati.

Il terzo finding riguarda gli harness stessi: alcuni sono sostanzialmente più difficili da imparare per il modello, indipendentemente dalla qualità del training (ZeroClaw, OpenClaw e Codex danno risultati molto diversi a parità di modello). Questo conferma un punto che sta diventando solido nella ricerca: la scelta dell’harness cambia le performance dell’agente quanto la scelta del modello.

Cosa non concludere: OpenForgeRL non significa che addestrare agenti sia diventato facile. Serve un cluster, serve familiarità con RL, e i task devono essere progettati bene. Il paper usa poche centinaia o migliaia di task, ma ognuno deve essere verificabile. Per chi vuole costruire agenti con stack aperti, il valore è che il gap fra infrastruttura proprietaria e aperta si stringe sul fronte del training, non solo dell’inferenza, dove modelli open-weight come Laguna S stavano già recuperando terreno.