Publié le 24 juillet sur arXiv, SceneActBench est un benchmark qui met à l’épreuve les modèles vision-language (VLM) sur des actions concrètes dans des scènes 3D. Onze configurations propriétaires de VLM ont été évaluées sur cinq tâches, avec 520 cas construits à partir de 210 instances de départ. Les entrées sont des images, des frames vidéo ou des assets 3D ; la sortie est une action sur l’environnement, comparée à une ground truth cachée via des métriques géométriques. Les scores vont de 38,6 à 50,2 : aucun modèle ne s’en sort bien sur toutes les tâches.

Pourquoi ça te concerne

Les VLM passent de la description à l’action. Jusqu’à hier, ils te disaient ce qu’il y avait dans une scène ; maintenant tu leur demandes de déplacer des objets dedans. Les benchmarks avaient pris du retard : ils mesuraient des réponses textuelles ou des opérations sur un seul objet.

Comme nous le racontions le 26 juillet, les benchmarks textuels ne suffisent pas pour les modèles qui voient. SceneActBench ferme une autre partie du fossé : il évalue des actions coordonnées sur des scènes complètes avec plusieurs objets, dans le même cycle agent-environnement.

Avec des scores entre 38,6 et 50,2, aucun modèle ne remporte vraiment la victoire. Le signal utile est un autre : le domaine a maintenant un moyen honnête de mesurer ce qu’il manque aux agents incarnés avant de pouvoir travailler sur des tâches spatiales réelles.

En détail

Ce qu’il y avait avant.

Les benchmarks pour les modèles vision-language se divisaient en deux familles. D’un côté, les tests de compréhension visuelle : le modèle regarde une image et répond à des questions ou décrit la scène. De l’autre, les tests de manipulation 3D, mais limités à des opérations sur un seul objet à la fois. Ce qui manquait était un test combinant vision, planification et action coordonnée sur des scènes avec plusieurs objets. SceneActBench comble ce vide.

Comment ça fonctionne.

Le benchmark a cinq tâches, toutes jouées dans le même cycle agent-environnement. L’agent reçoit en entrée des images PNG, des frames échantillonnés d’une vidéo ou, si nécessaire, des assets 3D. Il doit produire une action sur l’environnement 3D, et le résultat est comparé à une ground truth cachée en utilisant des métriques géométriques spécifiques à chaque tâche. Tout passe par un seul cycle agent défini, de sorte que la comparaison entre modèles reste équitable : tu gagnes parce que ton modèle raisonne mieux, pas parce que tu as un harness plus malin.

Les 520 cas proviennent de 210 instances de départ, avec des conditions d’entrée appariées pour comparer le même agent dans des situations différentes. Les onze modèles testés sont tous propriétaires, et aucun ne montre de performances cohérentes sur les cinq tâches : celui qui brille dans une tâche s’effondre dans une autre.

Ce que cela signifie pour ceux qui travaillent avec l’IA.

Si tu construis des agents ou des workflows avec une composante visuelle et spatiale, SceneActBench te dit deux choses. Premièrement, le raisonnement sur le texte et le code est mature, celui sur l’espace physique l’est beaucoup moins. Comme nous le rappelions avec l’énigme des cubes de sucre de Karpathy, les modèles se perdent encore quand ils doivent raisonner sur les positions, les distances et les relations entre objets.

Deuxièmement, si ton cas d’usage nécessite des actions coordonnées sur plusieurs objets (disposer des éléments dans une disposition, réorganiser une scène, manipuler un environnement simulé), tu dois t’attendre à des taux d’échec élevés. La limite ne se résout pas avec un meilleur prompt : c’est celle du modèle, et le savoir d’avance te permet de concevoir les bons contrôles.

Le contexte plus large.

SceneActBench arrive alors que le domaine des agents incarnés s’accélère. Les modèles qui apprennent la physique à partir de vidéos deviennent le terrain d’entraînement pour les robots, et les VLM se transforment de descripteurs en acteurs. Un benchmark qui mesure l’action, pas seulement la compréhension, est le thermomètre dont on a besoin pour savoir si cette transformation produit des résultats concrets ou seulement des promesses.

Limites.

Le benchmark couvre seulement onze configurations propriétaires : pas de modèles open-weight. Les 520 cas sont construits à partir de 210 instances, donc il y a de la variabilité mais pas un très grand échantillon. Les cinq tâches ne sont pas décrites en détail dans le résumé, et le paper complet doit être lu pour comprendre quels scénarios ils couvrent. Avec des scores entre 38,6 et 50,2, le benchmark mesure plus où les modèles échouent que où ils réussissent : utile comme thermomètre, pas comme certificat.