Un paper uscito su HF Daily Papers affronta un problema concreto del retrieval: quando a consumare i documenti è un agente AI, ciò che determina la qualità della risposta è come lavora l’insieme dei documenti recuperati. I sistemi di valutazione attuali punteggiano ogni documento da solo con metriche come l’nDCG e poi sommano i risultati. Trascurano le interazioni fra documenti: due testi possono essere entrambi rilevanti ma ridondanti fra loro, o possono contraddirsi, o uno può completare l’altro. Una valutazione documento per documento non lo vede.

Perché ti riguarda

Se costruisci sistemi RAG o agenti di ricerca, la risposta che ottieni dipende dall’insieme di documenti che finisce nel contesto del modello. Il paper lo misura: 12 reranker testati su un benchmark di nove dimensioni e circa 28.000 rubriche, e il migliore raggiunge appena il 45% di copertura sulle dimensioni di coordinamento fra documenti. Il metodo che propongono, Rubric4Setwise, converte i criteri di valutazione in segnali di selezione dell’insieme e ottiene le risposte migliori con meno documenti e meno giri di ricerca.

Questo si lega al filo che stiamo seguendo: come raccontavamo il 20 luglio, tre paper convergevano sull’idea che nei sistemi agentici l’architettura conta più del modello. La qualità del retrieval è un pezzo di quell’architettura.

Nel dettaglio

Il problema è concreto e lo riconosce chiunque abbia costruito un sistema RAG nella vita reale. Recuperi dieci documenti con una ricerca semantica, li passi a un reranker che li ordina per rilevanza individuale, e li dai al modello. Tre documenti dicono la stessa cosa in modo leggermente diverso, due si contraddicono, e il pezzo di informazione che serviva davvero è al sesto posto con un punteggio più basso.

La metrica standard, l’nDCG, misura quanto i documenti rilevanti sono in cima alla lista. Tratta ogni documento come un’isola. Se due documenti sono entrambi rilevanti al 90% e dicono la stessa cosa, l’nDCG li premia entrambi. L’agente che li riceve ha un contesto ripetitivo e nessuna informazione nuova.

Il paper costruisce SetwiseEvalKit, un benchmark con tre livelli e nove dimensioni di valutazione, coprendo scenari a breve e lungo formato, con circa 28.000 rubriche. Le dimensioni misurano cose che l’nDCG ignora: ridondanza (quanto i documenti si ripetono), conflitto (quando si contraddicono), complementarietà (quando si completano a vicenda), copertura (quanto dell’informazione necessaria è presente nell’insieme).

I risultati dei test su 12 reranker sono netti. Il migliore raggiunge al massimo il 45% di copertura sulle dimensioni di coordinamento fra documenti. Nessun metodo mantiene le migliori prestazioni in entrambi gli scenari (breve e lungo formato). Le dimensioni cross-documento sono deboli ovunque.

La proposta operativa si chiama Rubric4Setwise. È un metodo senza training che prende i criteri di valutazione delle rubriche e li converte in segnali per selezionare l’insieme di documenti, non il singolo. Il risultato: le risposte migliori a valle con meno documenti e meno giri di ricerca. È l’unico metodo che mantiene risultati allo stato dell’arte in entrambi gli scenari.

Quanto fidarsi

Il paper è basato sull’abstract e sulla pagina di Hugging Face: il testo completo non era accessibile al momento della raccolta. I numeri (12 reranker, 45% di copertura, 28.000 rubriche) vengono dall’abstract e non sono verificabili indipendentemente. Una domanda nei commenti segnala l’assenza dei pointwise reranker dai test, e gli autori rispondono che li hanno classificati sotto “Adhoc Reranking”. Resta aperta la questione centrale: le dimensioni di valutazione (ridondanza, conflitto, complementarietà) sono stabili fra domini diversi, o vanno ricalibrate per ogni caso d’uso? La definizione di “buon insieme di documenti” cambia molto fra una due diligence legale e una ricerca di codice.

Per chi vuole approfondire le basi del retrieval aumentato, il paper originale sul RAG resta il punto di partenza.