Due articoli da HuggingFace Daily Papers convergono su un punto operativo: valutare i modelli vision-language restando nel testo non regge. Uno chiede al modello di disegnare la risposta, l’altro misura la decomposizione del movimento nei video.

Cosa è successo. “Show, Don’t Tell” introduce ProVisE, un framework che fa rispondere ai modelli di generazione di immagini direttamente in pixel alle domande di ragionamento spaziale, poi converte le immagini nelle predizioni strutturate che i benchmark esistenti richiedono. Su 470 campioni e 14 sottotask, i sistemi che rispondono visivamente risolvono il 37% dei casi spaziali che il modello testuale di riferimento sbaglia. Il secondo articolo, di Lukas Knobel con Andrew Zisserman, propone un metodo self-supervised per separare il movimento della camera da quello degli oggetti nei video, due dinamiche fino ad ora aggrovigliate nei frame e difficili da annotare a mano.

Perché ti riguarda. Se usi agenti che elaborano materiale visivo (documenti scansionati, foto di prodotto, video ispettivi), il punteggio sui benchmark può nascondere un buco: il modello sa descrivere a parole ciò che vede, ma non lo sa posizionare nello spazio. Quando il compito richiede di indicare dove sta un difetto o tracciare un percorso, l’interfaccia testuale è il collo di bottiglia. I due articoli spostano la domanda da “il modello sa rispondere?” a “il modello sa mostrare?”.

Se vuoi provarci. ProVisE è pubblico e agnostico rispetto al benchmark: il repo e il project page sono il punto di partenza per vedere come passare dall’output testuale a quello visivo sui propri casi spaziali.

Nel dettaglio

I benchmark per i modelli vision-language funzionano così: mostri al modello un’immagine e gli fai una domanda. La risposta è testo. Se la domanda è “quanti oggetti rossi ci sono?”, il testo basta. Se la domanda è “disegna il percorso dalla porta al tavolo”, costringere il modello a tradurre una posizione spaziale in coordinate numeriche o in parole è un’interfaccia forzata.

Il problema dell’interfaccia. “Show, Don’t Tell” parte da qui. Molte informazioni spaziali sono naturali da mostrare (indicare un punto, tracciare un’area, disegnare un percorso) e innaturali da scrivere (coordinate decimali, descrizioni verbali approssimative). L’articolo chiama questo fenomeno answer-interface mismatch: il modello potrebbe sapere dove si trova qualcosa, ma il canale testuale lo costringe a una traduzione che introduce un errore.

ProVisE risolve così: lascia che sia un modello di generazione di immagini a rispondere disegnando, poi converte il risultato visivo nel formato strutturato che il benchmark richiede. Se il benchmark vuole le coordinate di un punto, ProVisE le estrae dal pixel che il modello ha colorato. Se vuole un’area, la ricava dalla regione disegnata.

Il risultato principale, riportato nell’abstract dell’articolo (HuggingFace, 24 luglio 2026): su 470 campioni in 14 sottotask di SpatialGen-Bench e sei benchmark esterni, 31 sistemi valutati. I due canali, visivo e testuale, sono complementari. Il visivo vince dove lo stato spaziale si esprime direttamente in pixel. Il testuale resta più forte sul ragionamento composizionale, dove devi combinare più regole logiche. GPT Image 2 risolve il 37% dei casi spaziali che GPT-5.4, il modello testuale, sbaglia.

Il secondo articolo: separare ciò che si muove. Il lavoro di Knobel, Zisserman e Asano affronta un problema diverso ma collegato. Quando guardi un video, ogni frame cambia rispetto al precedente. Quel cambio ha due cause: la camera si è mossa (tu ti sei spostato con il telefono) o gli oggetti si sono mossi (la persona è entrata nell’inquadratura). Nei video naturali le due cause sono aggrovigliate: un oggetto che sembra scorrere a destra potrebbe essere fermo mentre la camera gira a sinistra.

Separare i due fattori serve a costruire rappresentazioni del movimento robuste, dove la dinamica degli oggetti è disaccoppiata dall’effetto della camera. Fino ad ora la separazione richiedeva supervisione manuale: qualcuno doveva etichettare cosa era camera e cosa era oggetto. L’articolo propone un metodo self-supervised che impara la decomposizione direttamente dai video, senza etichette.

Cosa cambia per chi costruisce. Se stai mettendo insieme un agente che elabora materiale visivo, l’angolo operativo è chiaro: il canale di output del tuo sistema deve matchare il tipo di risposta che ti serve. Un modello che sa descrivere a parole dove sta un difetto in un’immagine non è lo stesso che sa cerchiarlo. Un modello che riconosce “c’è movimento” in un video non è lo stesso che sa dire “l’oggetto si muove, la camera è ferma”.

I limiti. ProVisE valuta 31 sistemi su 470 campioni: è un banco di prova, non un’adozione di massa. La complementarietà fra visivo e testuale significa che nessuno dei due canali domina: serve sapere quale usare per quale sottotask. L’articolo sulla decomposizione dei video è un risultato di rappresentazione, non un tool pronto: dimostra che la separazione è apprendibile, ma non la rilascia come modulo inseribile in una pipeline esistente.

Per costruire il proprio banco di prova invece di affidarsi ai benchmark pubblici, il playbook sul confronto diretto fra modelli e la lezione su come valutare il tuo agente senza benchmark partono dallo stesso principio: misura il tuo caso, non la media.