Google DeepMind ha pubblicato Gemini Robotics 2, un modello vision-language-action (VLA) che converte ciò che un robot vede e sente in comandi motori per tutto il corpo, dai piedi alle dita. Il modello fa camminare e chinare un umanoide, manipola oggetti in stanze disordinate, e coordina più robot che lavorano insieme. Gira anche on-device e si adatta a corpi robotici nuovi in poche ore.

L’annuncio arriva tre giorni dopo che segnalavamo SceneActBench, il benchmark che valuta i modelli vision-language su azioni coordinate con più oggetti in scene 3D. Undici modelli testati, punteggi fra 38 e 50 su 100: nessuno se la cava bene su tutto. Ora c’è un modello di laboratorio che prova a fare proprio quelle cose, su un corpo vero.

Perché ti riguarda. Se lavori con agenti AI, finora hai misurato il successo su testo e codice. I VLM che descrivono immagini restano nella stessa famiglia. Il salto verso agenti che manipolano il mondo fisico sposta la domanda: conta quanto è coordinato il loro agire nello spazio, oltre a ciò che sanno dire. I benchmark lo inseguono. Gemini Robotics 2 mostra che i lab ci investono sul serio, con modelli che controllano movimento fine e collaborazione multi-robot.

Sullo stesso fronte, MarbleOS (Show HN, 113 punti) propone un’interfaccia grafica per agenti AI con file, strumenti e output visibili invece di thread di chat sepolti. È una demo acerba, ma il segnale è coerente: quando l’agente fa cose nel mondo invece di scrivere, l’interfaccia deve mostrare il lavoro in corso.

I limiti restano grandi. Gemini Robotics 2 è un annuncio di laboratorio, ancora senza un prodotto acquistabile. I benchmark su scene 3D registrano punteggi bassi per tutti. Manca la riproducibilità indipendente: per ora i numeri sull’adattamento a nuovi corpi vengono da DeepMind stessa.

Nel dettaglio

Il contesto: da mesi parliamo di agenti che lavorano su testo e codice. I paper su world model generativi avevano mostrato la direzione, addestrare robot nella simulazione invece che nel mondo reale. Due framework su ragionamento spaziale avevano segnato il limite: i VLM che descrivono immagini non ragionano bene sullo spazio fisico. Gemini Robotics 2 prova a colmare quel gap con un’architettura diversa.

Cosa cambia tecnicamente. Un modello vision-language-action non si ferma alla descrizione. Prende in ingresso il flusso video delle telecamere del robot e le istruzioni in linguaggio naturale, e produce in uscita i comandi per ogni giunto motorio. Il modello controlla tutto il corpo: camminata, presa fine degli oggetti, coordinazione fra arti. DeepMind parla di adattamento a corpi robotici nuovi in poche ore e di esecuzione on-device senza cloud.

La novità rispetto alla prima generazione di Gemini Robotics è il controllo whole-body. Prima i VLA gestivano un braccio o una pinza, ora coprono dalla camminata alla manipolazione fine. Aggiunge la collaborazione multi-robot: due robot che si dividono il lavoro per riordinare una stanza.

Dove le fonti divergono e cosa resta aperto. Il post di DeepMind è un annuncio con demo video, non un paper con metriche riproducibili. I numeri sull’adattamento a nuovi corpi (poche ore) e sull’esecuzione on-device sono rivendicazioni del laboratorio, non verificati indipendentemente. SceneActBench, pubblicato su arXiv tre giorni prima, mostra il quadro opposto: quando si misura oggettivamente come i VLM coordinano azioni su scene 3D, i punteggi sono fra 38 e 50 su 100. Il gap fra l’annuncio e la misura indipendente è largo.

MarbleOS, segnalato su Hacker News lo stesso giorno, tocca un nodo connesso ma diverso: se l’agente opera su file, strumenti e output invece di solo rispondere in chat, serve un’interfaccia che mostri il lavoro in corso. È una beta con 113 punti su HN, non un prodotto maturo, ma il problema dell’interfaccia per agenti che agiscono nel mondo è reale.

Cosa non concludere. Un robot che cammina e manipola oggetti in un video demo non significa che i VLA siano pronti per la produzione. I benchmark dicono il contrario. Il segnale utile è un altro: i lab stanno investendo su modelli che agiscono nel mondo fisico, e gli strumenti per misurarli arrivano in parallelo. Per chi costruisce agenti oggi su testo e codice, vale la pena seguire il filone: le metriche di valutazione che state usando potrebbero non bastare quando l’agente dovrà operare nello spazio invece che nella pagina.