Un articolo di HuggingFace presenta OpenForgeRL, un framework open-source per addestrare agenti che utilizzano harness complessi come Claude Code o Codex. Fino ad ora il problema era pratico: gli stack di training aperti (SFT e RL) non riescono a gestire l’inferenza stateful e multi-processo che un harness reale richiede. Si poteva valutare un agente in un harness, ma non addestrarlo al suo interno.

OpenForgeRL lo risolve con due componenti. Un proxy leggero intercetta le chiamate del modello durante l’uso dell’harness e le registra come dati di training per uno stack RL standard (veRL). Un orchestratore Kubernetes esegue ogni rollout in un container remoto separato. Training e inferenza vengono disaccoppiati: il modello impara nell’ambiente reale in cui viene distribuito.

Come discutevamo il 20 luglio, l’orchestrazione è più importante del modello negli agenti in produzione. OpenForgeRL porta questo principio nel training: l’harness diventa il luogo dove l’agente impara, non solo dove lavora.

I risultati sono misurabili. OpenForgeGUI raggiunge 37.7 su OSWorld-Verified e 72.3 su WebVoyager, superando baseline open di dimensioni simili e equiparando modelli diverse volte più grandi. L’articolo è franco sui limiti: il recupero dagli errori rimane debole anche dopo RL, e alcuni harness sono sostanzialmente più difficili da imparare di altri.

Se vuoi provarci: il codice è pubblico, ma richiede un cluster Kubernetes e familiarità con stack RL come veRL. È ricerca riproducibile, non un pomeriggio di lavoro.

Nel dettaglio

L’idea di “harness” merita un chiarimento. Quando usi Claude Code o Codex, il modello non lavora da solo: un’architettura software attorno a lui gestisce il contesto, chiama gli strumenti, decide quando fermarsi e riprovare. Quella architettura è l’harness. È quello che fa la differenza tra un modello che risponde a una domanda e un agente che completa un compito multi-step.

Il problema del training è che questa architettura è stateful: mantiene uno stato tra una chiamata e l’altra, gira su processi separati, accede a filesystem e rete. Gli stack di reinforcement learning open-source come veRL assumono che un episodio di training sia una sequenza lineare di chiamate al modello. Un harness reale rompe quell’assunzione: ogni passo può lanciare sottoprocessi, scrivere file, effettuare chiamate di rete, e il risultato di un’azione dipende da tutto ciò che è accaduto prima in modo non banale.

La soluzione di OpenForgeRL è elegante nella sua semplicità. Invece di modificare lo stack RL per capire l’harness, mette un proxy in mezzo. Il proxy funge da intermediario per le chiamate del modello: l’harness pensa di parlare con il modello vero, il proxy registra tutto e poi rigioca la traiettoria per il training. Sul fronte dell’orchestrazione, ogni episodio di training gira in un container Kubernetes isolato, così l’ambiente è pulito e riproducibile.

I numeri vanno letti nel loro contesto. Su ClawEval, OpenForgeClaw raggiunge 31.7 pass@1 e 55.9 pass@3 con poche centinaia o migliaia di task. Su benchmark GUI, OpenForgeGUI ottiene 37.7 su OSWorld-Verified e 72.3 su WebVoyager. Nel caso GUI, i risultati equiparano o superano modelli diverse volte più grandi, il che suggerisce che il training nell’harness vero conta più della scala del modello.

L’articolo riporta due scoperte importanti per chi costruisce agenti. Primo: il RL migliora l’affidabilità dell’agente, in particolare l’auto-verifica, la copertura degli strumenti e il completamento di piani multi-step. Secondo: il recupero dagli errori rimane debole. Un agente addestrato con RL impara a usare meglio gli strumenti quando tutto va bene, ma non impara a riprendersi quando qualcosa si rompe a metà. È un limite strutturale, non un bug da risolvere con più dati.

La terza scoperta riguarda gli harness stessi: alcuni sono sostanzialmente più difficili da imparare per il modello, indipendentemente dalla qualità del training (ZeroClaw, OpenClaw e Codex producono risultati molto diversi a parità di modello). Questo conferma un punto che sta diventando solido nella ricerca: la scelta dell’harness cambia le performance dell’agente quanto la scelta del modello.

Cosa non concludere: OpenForgeRL non significa che addestrare agenti sia diventato facile. Serve un cluster, serve familiarità con RL, e i task devono essere progettati bene. L’articolo utilizza poche centinaia o migliaia di task, ma ognuno deve essere verificabile. Per chi vuole costruire agenti con stack aperti, il valore è che il divario tra infrastruttura proprietaria e aperta si riduce sul fronte del training, non solo dell’inferenza, dove modelli open-weight come Laguna S stavano già recuperando terreno.