Tre paper pubblicati lo stesso giorno su Hugging Face Daily Papers convergono su una domanda che i benchmark finora avevano saltato: l’esperienza accumulata rende davvero gli agenti migliori nel tempo?

PAST-Bench, ContinualSkillBench e “When Agents Learn to Be You” misurano tre facce dello stesso problema. Il primo verifica se un agente che conserva preferenze, cronologie e abilità fra le sessioni migliora nei compiti successivi. Il secondo misura se gli agenti riescono a evolvere le proprie skill riutilizzandole in compiti concatenati. Il terzo documenta il rischio che le “persona skill”, abilità personali distillate dalla storia delle interazioni, diventino un vettore di fuga di dati privati.

La risposta comune è onesta e deludente: i miglioramenti ci sono, ma sono disomogenei e fragili. PAST-Bench, su sette modelli e quattro framework, trova che due agenti con lo stesso guadagno finale possono averlo ottenuto con percorsi completamente diversi, e non sempre attraverso il pathway previsto di salva, recupera e aggiorna. ContinualSkillBench mostra che gran parte del miglioramento deriva dall’adattamento al contesto precedente, non da vere abilità riusabili. I modelli meno capaci accumulano collezioni frammentate di skill specifiche invece di consolidarle.

Per chi usa o costruisce agenti nel proprio lavoro, l’implicazione è concreta. Come raccontavamo il 4 agosto, la memoria degli agenti costa token e va progettata. Ora emerge che anche quando la progetti e la paghi, il rendimento non è garantito. Un agente può conservare informazioni senza per questo diventare un agente che apprende.

Nel dettaglio

I tre benchmark colmano un buco che la ricerca sugli agenti aveva lasciato aperto. Fino a oggi, la valutazione si concentrava sulla singola esecuzione: un agente riceve un compito, lo svolge, viene misurato sul risultato. Quello che succedeva fra un compito e il successivo, e soprattutto se l’esperienza accumulata produceva un agente sistematicamente migliore, restava fuori dai radar.

PAST-Bench (Princeton University) costruisce 26 scenari e 204 episodi per isolare questa variabile. L’idea è semplice ma rigorosa: ogni agente attraversa sequenze ordinate di task in sessioni fresche, e i ricercatori accendono e spengono la memoria accumulata per misurare la differenza. Testano sette modelli base e quattro framework agentici. Il risultato è che il miglioramento c’è, ma è disomogeneo. Due agenti con lo stesso guadagno finale possono differire profondamente nel percorso che li ha portati lì: uno segue il pathway previsto (salva l’esperienza, la recupera quando serve, la aggiorna), l’altro ottiene lo stesso risultato senza attraversare quel percorso, il che significa che il guadagno è accidentale, non sistematico.

Il framework Hermes+, sviluppato dagli stessi autori, interviene su cinque punti del loop agente per forzare il percorso corretto. Il guadagno medio cresce e le tracce del pathway diventano più chiare, soprattutto nei task che richiedono di sostituire informazioni obsolete. L’effetto resta però dipendente dal modello e dalla capacità.

ContinualSkillBench (Peking University) affronta il problema dall’angolo delle abilità. Cinque domini, cento sottotask ciascuno, ordinati per difficoltà crescente e con opportunità di riutilizzo incrociato. La scoperta principale è che l’apprendimento in-context (il modello si adatta al contesto precedente) produce risultati comparabili alla manutenzione esplicita delle skill. Gran parte del miglioramento, insomma, viene dal semplice adattamento al contesto precedente, non da vere astrazioni riusabili. Le skill esplicite aiutano, ma solo nei task che richiedono procedure ripetibili o output precisi. E i modelli meno capaci tendono ad accumulare collezioni grandi e frammentate di skill specifiche, invece di consolidarle in qualcosa di trasferibile.

Il terzo paper, “When Agents Learn to Be You”, porta il discorso sul terreno della sicurezza. Le “persona skill” sono artefatti portabili che distillano la storia delle interazioni personali di un utente: preferenze, abitudini, routine. Quando queste skill vengono riutilizzate da agenti downstream, concentrano segnali personali frammentati e li amplificano. Il benchmark, chiamato AntiSkillBench, valuta i rischi di fuoriuscita e impersonazione lungo tutta la pipeline. La difesa progettata per singoli record o per memoria basata su retrieval non regge quando l’informazione personale viene distillata in un’abilità eseguibile e portabile.

La convergenza dei tre paper dice una cosa chiara: l’evoluzione dell’agente nel tempo è il prossimo collo di bottiglia. L’agente che ricorda ha fatto mezzo passo. Deve consolidare ciò che ricorda in abilità trasferibili, e farlo senza trasformare la storia personale dell’utente in una superficie di attacco. I benchmark dicono che non ci siamo ancora, e lo dicono con numeri.