Scale AI ha pubblicato HarnessOpt-Bench, un benchmark che misura la capacità dei modelli frontier di ottimizzare la harness: l’insieme di prompt, strumenti, flusso di controllo, memoria e codice di orchestrazione che circonda un modello dentro un sistema agentico. Il benchmark dà a un LLM la harness di partenza di un agente target, un budget fisso di valutazioni, e poi misura il guadagno normalizzato su un test set che resta inaccessibile durante la ricerca.

Perché ti riguarda. Come raccontavamo il 1 agosto quando Manifest ha chiuso il suo router per puntare sull’orchestrazione, il collo di bottiglia dei sistemi agentici si è spostato dalla scelta del modello a come lo orchestrì. HarnessOpt-Bench fornisce la prima metrica condivisa per misurare proprio questo. I risultati su 111 run con 5 modelli frontier mostrano due cose: i modelli ottimizzatori si distinguono più delle harness che li avvolgono, e usare la harness nativa del modello non garantisce risultati migliori.

Per chi costruisce agenti, la conferma empirica di un’intuizione che stava diventando operativa. Ora c’è un numero per dirla. Il pezzo sul perché gli agenti sbagliano lo aveva già mostrato qualitativamente: quasi mai il modello, quasi sempre i passaggi.

Nel dettaglio

Fino a oggi i benchmark misuravano i modelli. SWE-bench misura se un agente risolve issue GitHub reali, GAIA misura se un assistente risponde a domande che richiedono ricerca e calcolo, ma nessuno misurava sistematicamente la qualità dell’impalcatura che sta attorno al modello: i prompt, gli strumenti, il flusso di controllo, la memoria, il codice che orchestra tutto. HarnessOpt-Bench chiude questo buco.

Il setup è costruito per evitare l’overfitting. Un modello ottimizzatore, abbinato a una harness di codifica, riceve la harness di partenza di un agente target, un feedback di valutazione graduato e un budget fisso di valutazioni. Modifica la harness, propone un candidato finale e viene giudicato sul guadagno normalizzato rispetto alla harness di partenza su un test set che non può vedere durante la ricerca. Un ambiente di esecuzione controllato fa rispettare il confine: misura le risorse usate dall’agente target, impedisce l’accesso ai dati di test e conserva le versioni dei candidati per audit.

I numeri raccontano due cose. Primo: la scelta del modello ottimizzatore conta più della harness di codifica attraverso cui agisce. Su 111 run, i 5 modelli frontier testati si separano in modo chiaro, mentre le harness diverse producono risultati meno differenziati. Secondo: la harness nativa del modello, quella con cui è stato addestrato o che il suo produttore fornisce di default, non vince in modo coerente. Il vantaggio di usare lo stesso ambiente del produttore del modello è reale su alcuni task ma sparisce su altri.

Questo significa che il lavoro di ingegneria della harness, quello che molti stanno già facendo a mano, ha un impatto misurabile e non è un dettaglio secondario rispetto alla scelta del modello base. Se cambi i prompt, aggiusti il flusso di controllo, compatti la memoria o ridefinisci gli strumenti, stai facendo esattamente ciò che il benchmark misura.

I limiti sono dichiarati. Le valutazioni sono costose e stocastiche, il che significa che un guadagno misurato può variare fra esecuzioni successive. I 4 task downstream coprono tipi diversi di lavoro ma restano un campione stretto. I 5 modelli frontier sono i protagonisti del momento, ma la fotografia vale finché non escono i prossimi. Il paper stesso conclude che c’è ampio spazio di miglioramento: i guadagni variano molto in base al task e alla harness di partenza, e nessun modello è bravo su tutto.

Per chi costruisce agenti, il messaggio operativo è il seguito naturale di un trend che il sito sta seguendo da settimane. L’infrastruttura in mezzo, l’orchestrazione, la memoria, i controlli di qualità, contano più del modello base. Ora c’è un benchmark per dimostrarlo con i numeri, e questo significa che si può misurare se un intervento sull’architettura dell’agente porta davvero un guadagno, invece di affidarsi all’impressione o alla demo che funziona una volta su tre.