Due paper pubblicati lo stesso giorno su Hugging Face Daily Papers convergono su un punto: i diffusion transformer possono diventare più efficienti su due fronti diversi, la generazione video e il controllo robotico.

WorldDiT (Bagel Labs) unisce in un’unica architettura la generazione delle azioni del robot e la modellazione visiva del mondo. Il punto rilevante è che lo fa senza appoggiarsi su un grande modello vision-language pre-addestrato come spina dorsale per l’azione, che è l’approccio costoso dominante nelle policy robotiche attuali. Sui quattro benchmark LIBERO, WorldDiT si colloca sulla frontiera di Pareto fra numero di parametri e tasso di successo, con meno di un miliardo di parametri.

Sol-Attn (NVIDIA Labs) accelera l’inferenza dei modelli di generazione video rendendo l’attenzione dinamica e rarefatta, senza bisogno di riaddestrare il modello. I numeri riportati nella pagina del paper: da 2 a 5 volte più veloce end-to-end su modelli come Wan 2.1-14B e HunyuanVideo-13B rispetto all’attenzione densa di FlashAttention-3.

Per chi usa o costruisce con l’AI queste due direzioni contano perché abbassano il costo di due tra i compiti più cari oggi: generare video e controllare robot. WorldDiT riduce la dipendenza dai VLM grandi e costosi. Sol-Attn si applica senza toccare i pesi del modello, quindi può essere inserito in pipeline esistenti.

Come raccontavamo il 22 luglio, i modelli che imparano la fisica dai video stanno diventando la base per addestrare agenti robotici senza simulatori costosi. WorldDiT è un passo concreto in quella direzione.

Nel dettaglio

I diffusion transformer hanno sostituito le reti U-Net nella generazione di video e immagini. Il vantaggio è la scalabilità: crescono meglio con più dati e più parametri. Il prezzo è l’attenzione, il meccanismo che fa confrontare ogni pezzo di input con ogni altro pezzo. Nei video, dove ogni frame genera migliaia di token, l’attenzione diventa il collo di bottiglia dominante durante l’inferenza.

Sol-Attn affronta questo collo di bottiglia con un’idea: invece di calcolare l’attenzione su tutti i blocchi di token, la calcola solo sui blocchi che contano, e lo fa al volo, senza un pre-passaggio di routing. Il metodo è training-free: si applica a un modello già addestrato senza modificarne i pesi. I numeri riportati nella pagina del paper: 2,02 volte più veloce end-to-end su Wan 2.1-14B, 2,12 volte su HunyuanVideo-13B, fino a 2,4 volte su LTX 2.3, rispetto a FlashAttention-3 densa. Integrato nel motore Sol-Engine (con kernel fusion e caching), i moltiplicatori salgono a 3,48x e 5,08x rispettivamente. Il kernel per il chip B200 è ancora in fase di ottimizzazione. Il codice è disponibile nel repo SANA di NVlabs.

Il limite è esplicito: i metodi esistenti di sparse attention faticano a essere efficienti e accurati contemporaneamente, perché la selezione dei blocchi è rigida e costosa. Sol-Attn risolve riutilizzando i punteggi proxy per approssimare i blocchi non selezionati in un singolo passaggio di softmax online. Quanto questo regga su video lunghi o con movimenti complessi resta da verificare in casi d’uso concreti.

WorldDiT lavora su un altro versante. Le policy robotiche attuali inseguono prestazioni migliori usando grandi VLM pre-addestrati come spina dorsale per generare le azioni. È costoso e crea dipendenza da modelli non pensati per il controllo fisico. WorldDiT accoppia la generazione delle azioni con la modellazione del mondo visivo in un solo diffusion transformer: durante il training, il modello genera chunk di azioni continue e predice i frame futuri della telecamera come patch RGB normalizzati. Sui quattro benchmark di simulazione LIBERO, si colloca sulla frontiera di Pareto fra parametri totali e tasso di successo fra i metodi che riportano tutti e quattro i suite, con meno di un miliardo di parametri.

Il limite qui è chiaro: LIBERO è simulazione, non il mondo fisico. Il salto dal simulatore al robot vero resta aperto. Ma un modello sub-billion che sta sulla frontiera di Pareto dimostra che serve meno infrastruttura di quanto si pensasse per ottenere controllo robotico ragionevole.

I due paper convergono su un’idea di fondo: i diffusion transformer funzionano meglio quando smettono di trattare tutto allo stesso modo. WorldDiT separa la generazione dell’azione dalla necessità di un VLM enorme. Sol-Attn separa l’attenzione dalla necessità di guardare tutto. In entrambi i casi il guadagno è efficienza, senza rinunciare alla qualità.