Google DeepMind a publié Gemini Robotics 2, un modèle vision-language-action (VLA) qui convertit ce qu’un robot voit et ressent en commandes motrices pour tout le corps, des pieds aux doigts. Le modèle fait marcher et pencher un humanoïde, manipule des objets dans des pièces désordonnées, et coordonne plusieurs robots travaillant ensemble. Il fonctionne aussi on-device et s’adapte à de nouveaux corps robotiques en quelques heures.

L’annonce arrive trois jours après que nous ayons signalé SceneActBench, le benchmark qui évalue les modèles vision-language sur des actions coordonnées avec plusieurs objets dans des scènes 3D. Onze modèles testés, scores entre 38 et 50 sur 100 : aucun ne s’en sort bien sur tout. Il existe maintenant un modèle de laboratoire qui essaie de faire exactement ces choses, sur un corps vrai.

Pourquoi cela vous concerne. Si vous travaillez avec des agents IA, jusqu’à présent vous aviez mesuré le succès sur du texte et du code. Les VLM qui décrivent des images restent dans la même famille. Le saut vers des agents qui manipulent le monde physique déplace la question : importe-t-il autant que leur action soit coordonnée dans l’espace, au-delà de ce qu’ils savent dire. Les benchmarks le poursuivent. Gemini Robotics 2 montre que les labs y investissent sérieusement, avec des modèles qui contrôlent des mouvements fins et la collaboration multi-robot.

Sur le même front, MarbleOS (Show HN, 113 points) propose une interface graphique pour les agents IA avec fichiers, outils et résultats visibles au lieu de fils de chat enterrés. C’est une démo embryonnaire, mais le signal est cohérent : quand l’agent fait des choses dans le monde au lieu d’écrire, l’interface doit montrer le travail en cours.

Les limites restent énormes. Gemini Robotics 2 est une annonce de laboratoire, sans produit achetable pour l’instant. Les benchmarks sur scènes 3D enregistrent des scores bas pour tous. Manque la reproductibilité indépendante : pour l’instant les chiffres sur l’adaptation à de nouveaux corps viennent de DeepMind elle-même.

En détail

Le contexte : depuis des mois nous parlons d’agents qui travaillent sur du texte et du code. Les papiers sur les world models génératifs avaient montré la direction, entraîner les robots en simulation plutôt que dans le monde réel. Deux frameworks sur le raisonnement spatial avaient marqué la limite : les VLM qui décrivent des images ne raisonnent pas bien sur l’espace physique. Gemini Robotics 2 essaie de combler cet écart avec une architecture différente.

Ce qui change techniquement. Un modèle vision-language-action ne s’arrête pas à la description. Il prend en entrée le flux vidéo des caméras du robot et les instructions en langage naturel, et produit en sortie les commandes pour chaque articulation motrice. Le modèle contrôle tout le corps : marche, manipulation fine des objets, coordination entre les membres. DeepMind parle d’adaptation à de nouveaux corps robotiques en quelques heures et d’exécution on-device sans cloud.

La nouveauté par rapport à la première génération de Gemini Robotics est le contrôle whole-body. Avant les VLA géraient un bras ou une pince, maintenant ils couvrent de la marche à la manipulation fine. Y s’ajoute la collaboration multi-robot : deux robots qui se partagent le travail pour ranger une pièce.

Où les sources divergent et ce qui reste ouvert. Le post de DeepMind est une annonce avec des vidéos de démonstration, pas un paper avec des métriques reproductibles. Les chiffres sur l’adaptation à de nouveaux corps (quelques heures) et l’exécution on-device sont des affirmations du laboratoire, non vérifiés indépendamment. SceneActBench, publié sur arXiv trois jours avant, montre le tableau opposé : quand on mesure objectivement comment les VLM coordonnent les actions sur des scènes 3D, les scores sont entre 38 et 50 sur 100. L’écart entre l’annonce et la mesure indépendante est large.

MarbleOS, signalé sur Hacker News le même jour, touche un nœud connecté mais différent : si l’agent opère sur des fichiers, outils et résultats au lieu de simplement répondre en chat, il faut une interface qui montre le travail en cours. C’est une beta avec 113 points sur HN, pas un produit mature, mais le problème de l’interface pour les agents qui agissent dans le monde est réel.

Ce qu’il ne faut pas conclure. Un robot qui marche et manipule des objets dans une vidéo de démonstration ne signifie pas que les VLA sont prêts pour la production. Les benchmarks disent le contraire. Le signal utile est ailleurs : les labs investissent dans des modèles qui agissent dans le monde physique, et les outils pour les mesurer arrivent en parallèle. Pour qui construit des agents aujourd’hui sur du texte et du code, cela vaut la peine de suivre ce filament : les métriques d’évaluation que vous utilisez pourraient ne pas suffire quand l’agent devra opérer dans l’espace au lieu que sur la page.