Un gruppo di ricerca guidato da Zhen Fang ha pubblicato su arXiv (4 agosto 2026) Video-DeepResearch (Video-DR), un framework che estende i modelli vision-language dai frame statici ai video continui, combinati con ricerca web aperta. L’agente guarda il video, identifica cosa non sa, va sul web a cercarlo.

Il paper documenta due difetti dei modelli attuali. Il primo: l’agente ignora gli strumenti visivi e risolve tutto come testo. Il secondo: risponde dalla memoria interna invece di usare gli strumenti. Video-DR impone una pipeline a stadi: prima guarda i frame, poi apre il browser.

I numeri dichiarati nel paper: Video-DR-35B-A3B raggiunge il 64,0% di accuratezza su Video-DR-Bench (200 domande multi-hop create dal team), contro il 59,0% di Claude-4.5-Sonnet, il 52,5% di GPT-5 e il 57,5% di Gemini 2.5 Pro. La variante più piccola, 30B-A3B, arriva al 59,3%, competitiva con Claude.

Perché ti riguarda. Se lavori con contenuti video, la differenza fra un modello che descrive cosa vede e uno che incrocia ciò che vede con fonti esterne è il salto fra uno spettatore e un ricercatore. Come raccontavamo il 4 agosto, i VLM stavano imparando a ragionare sullo spazio invece di limitarsi a descriverlo. Video-DR sposta la stessa frontiera sul video e sul web.

Il codice è aperto su GitHub. È ricerca accademica con un benchmark piccolo e risultati auto-riportati: il segnale conta più delle cifre.

Nel dettaglio

I modelli vision-language hanno fatto passi rapidi su testo e immagini statiche, ma il video resta un territorio difficile. Un video non è una sequenza di frame indipendenti: è un flusso dove l’informazione è distribuita nel tempo, e una domanda utile richiede spesso di collegare un dettaglio a minuto 3 con uno a minuto 47. I VLM attuali tendono a campionare pochi frame e trattarli come foto separate.

Il problema della memoria. Video-DR chiama “parametric knowledge leakage” il fenomeno per cui un modello risponde a una domanda su un video usando ciò che sa già, senza avere davvero guardato il contenuto. Se chiedi quale marca di auto si vede nel video, il modello può indovinare dalla memoria invece di cercare il logo nei frame. Questo è un difetto strutturale: l’agente sembra funzionare, ma per ragioni sbagliate.

Il problema del bias modale. L’agente ha accesso a strumenti visivi (zoom, crop, estrazione frame) ma li ignora e cerca tutto come testo. Se gli chiedi di un evento nel video, fa una ricerca web invece di guardare il video. Video-DR risolve questo imponendo un ordine: la fase di percezione viene prima, e gli strumenti di ricerca web vengono sbloccati solo dopo che l’agente ha esaminato i frame. Ispirandosi a un’architettura a stadi, la pipeline forza il modello a “sapere cosa ha visto” prima di “cercare cosa non sa”.

L’architettura. Il framework ha tre componenti. Una pipeline disaccoppiata che separa percezione ed esplorazione. Un data engine che genera domande multi-hop progettate per non essere eluse con la memoria parametrica. Un training in due fasi: prima supervised fine-tuning per insegnare gli schemi di base, poi Group Relative Policy Optimization (GRPO, una forma di reinforcement learning) per far scoprire all’agente pattern di uso degli strumenti invece di copiarli dal training set.

I numeri nel contesto. Video-DR-Bench ha 200 istanze, create in collaborazione umano-AI. Video-DR-35B-A3B (35 miliardi di parametri totali, 3 miliardi attivi in architettura MoE) raggiunge il 64,0%, battendo Claude-4.5-Sonnet di 5 punti. La variante 30B-A3B arriva al 59,3%, dimostrando che il metodo funziona anche a scala più compatta. I numeri sono dichiarati dal team nel paper del 4 agosto 2026.

I limiti. Il benchmark è piccolo e costruito dallo stesso team che propone il metodo: classico conflitto di interesse nella valutazione. I confronti con Claude, GPT-5 e Gemini sono fatti in una configurazione specifica, e le condizioni di test per i modelli proprietari non sono trasparenti. Il framework è open source su GitHub, ma l’addestramento richiede risorse significative. L’inferenza su un MoE da 35B è fattibile su hardware consumer solo con quantizzazione aggressiva.

Cosa resta aperto. Video-DR dimostra che il ragionamento su flussi video è affrontabile con l’architettura giusta, ma non risolve la questione del costo. Elaborare video continui richiede molta più compute di una singola immagine, e il paper non misura il costo per query. Per chi costruisce prodotti su video, oltre alla correttezza dell’agente conta quanto costa ogni risposta.