Une équipe de recherche dirigée par Zhen Fang a publié sur arXiv (4 août 2026) Video-DeepResearch (Video-DR), un framework qui étend les modèles vision-language des frames statiques aux vidéos continues, combinées avec recherche web ouverte. L’agent regarde la vidéo, identifie ce qu’il ne sait pas, et va chercher sur le web.

Le paper documente deux défauts des modèles actuels. Le premier : l’agent ignore les outils visuels et résout tout comme du texte. Le second : il répond à partir de sa mémoire interne au lieu d’utiliser les outils. Video-DR impose une pipeline par étapes : d’abord regarder les frames, puis ouvrir le navigateur.

Les chiffres annoncés dans le paper : Video-DR-35B-A3B atteint 64,0% de précision sur Video-DR-Bench (200 questions multi-saut créées par l’équipe), contre 59,0% pour Claude-4.5-Sonnet, 52,5% pour GPT-5 et 57,5% pour Gemini 2.5 Pro. La variante plus petite, 30B-A3B, atteint 59,3%, compétitive avec Claude.

Pourquoi cela te concerne. Si tu travailles avec du contenu vidéo, la différence entre un modèle qui décrit ce qu’il voit et un qui croise ce qu’il voit avec des sources externes, c’est le saut entre un spectateur et un chercheur. Comme nous l’évoquions le 4 août, les VLM apprenaient à raisonner sur l’espace au lieu de se limiter à le décrire. Video-DR déplace cette même frontière sur la vidéo et le web.

Le code est open source sur GitHub. C’est de la recherche académique avec un benchmark petit et des résultats auto-rapportés : le signal compte plus que les chiffres.

En détail

Les modèles vision-language ont fait des progrès rapides sur le texte et les images statiques, mais la vidéo reste un territoire difficile. Une vidéo n’est pas une séquence de frames indépendants : c’est un flux où l’information est distribuée dans le temps, et une question utile nécessite souvent de lier un détail à la minute 3 avec un autre à la minute 47. Les VLM actuels ont tendance à échantillonner quelques frames et à les traiter comme des photos séparées.

Le problème de la mémoire. Video-DR appelle « parametric knowledge leakage » le phénomène où un modèle répond à une question sur une vidéo en utilisant ce qu’il sait déjà, sans avoir vraiment regardé le contenu. Si tu demandes quelle marque de voiture apparaît dans la vidéo, le modèle peut deviner à partir de sa mémoire au lieu de chercher le logo dans les frames. C’est un défaut structurel : l’agent semble fonctionner, mais pour les mauvaises raisons.

Le problème du biais modal. L’agent a accès à des outils visuels (zoom, crop, extraction de frames) mais les ignore et cherche tout comme du texte. Si tu lui demandes un événement de la vidéo, il fait une recherche web au lieu de regarder la vidéo. Video-DR résout cela en imposant un ordre : la phase de perception vient en premier, et les outils de recherche web sont déverrouillés seulement après que l’agent a examiné les frames. S’inspirant d’une architecture par étapes, la pipeline force le modèle à « savoir ce qu’il a vu » avant de « chercher ce qu’il ne sait pas ».

L’architecture. Le framework a trois composants. Une pipeline découplée qui sépare la perception et l’exploration. Un data engine qui génère des questions multi-saut conçues pour ne pas être contournées avec la mémoire paramétrique. Un entraînement en deux phases : d’abord supervised fine-tuning pour enseigner les schémas de base, puis Group Relative Policy Optimization (GRPO, une forme de reinforcement learning) pour faire découvrir à l’agent les modèles d’utilisation des outils au lieu de les copier du training set.

Les chiffres en contexte. Video-DR-Bench a 200 instances, créées en collaboration humain-IA. Video-DR-35B-A3B (35 milliards de paramètres au total, 3 milliards actifs en architecture MoE) atteint 64,0%, battant Claude-4.5-Sonnet de 5 points. La variante 30B-A3B atteint 59,3%, démontrant que la méthode fonctionne aussi à une échelle plus compacte. Les chiffres sont rapportés par l’équipe dans le paper du 4 août 2026.

Les limites. Le benchmark est petit et construit par la même équipe qui propose la méthode : conflit d’intérêt classique dans l’évaluation. Les comparaisons avec Claude, GPT-5 et Gemini sont faites dans une configuration spécifique, et les conditions de test pour les modèles propriétaires ne sont pas transparentes. Le framework est open source sur GitHub, mais l’entraînement nécessite des ressources significatives. L’inférence sur un MoE de 35B n’est réalisable sur du hardware consumer que avec quantization agressive.

Ce qui reste ouvert. Video-DR démontre que le raisonnement sur des flux vidéo est abordable avec la bonne architecture, mais ne résout pas la question du coût. Traiter des vidéos continues nécessite beaucoup plus de compute qu’une seule image, et le paper ne mesure pas le coût par requête. Pour qui construit des produits sur la vidéo, au-delà de la correction de l’agent compte le coût de chaque réponse.