NVlabs a publié SANA-Video 2.0, un modèle de diffusion vidéo disponible en deux échelles (5B et 14B paramètres) qui génère des vidéos jusqu’à 720p sur une seule GPU. Le modèle utilise une architecture hybride combinant attention linéaire et softmax dans des proportions calibrées (3:1), préservant la qualité des transformers vidéo traditionnels tout en maintenant un coût de calcul qui augmente linéairement. Sur le papier, le modèle 5B produit des vidéos 720p de 5 secondes en 13 secondes sur une H100, s’avérant 120 fois plus rapide que Wan 2.2-A14B sur le même hardware (papier publié le 23 juillet 2026 sur Hugging Face).

Pourquoi cela te concerne

Si tu génères du contenu vidéo avec l’IA, le coût a jusqu’à présent été le goulot d’étranglement. Les modèles vidéo de qualité tournent dans le cloud, avec des factures qui montent rapidement à chaque seconde de film. Un modèle qui produit du 720p sur une GPU unique change l’équation : au lieu de payer une API pour chaque clip, tu peux garder le processus en local, itérer sans regarder le compteur, et contrôler ce qui entre et ce qui sort.

Le code est sur GitHub (NVlabs/Sana), donc quiconque dispose d’une GPU suffisamment puissante peut l’essayer directement.

Si tu veux essayer

Le repo est sur github.com/NVlabs/Sana. Avant d’y investir du temps, vérifie combien de mémoire vidéo le modèle 5B nécessite et compare-le avec ta carte : les chiffres de performance sont mesurés sur H100, une GPU de data center, pas sur une carte grand public.

En détail

Le problème des modèles vidéo est la longueur de la séquence. Une vidéo est une longue chaîne de frames, et chaque frame est composée de milliers de tokens. Le mécanisme standard (l’attention softmax) compare chaque token avec tous les autres, donc le coût augmente quadratiquement : tu doubles la longueur de la vidéo et le coût quadruple. C’est pourquoi générer 10 secondes de vidéo coûte beaucoup plus que 10 fois générer 1 seconde.

L’attention linéaire résout le problème de coût, mais perd quelque chose en expressivité : elle ne peut pas saisir certaines interactions fines entre tokens lointains. SANA-Video 2.0 utilise un compromis : pour la plupart des couches, elle utilise l’attention linéaire (coût linéaire), mais insère périodiquement des piliers softmax (un tous les trois couches linéaires) qui restaurent la capacité de saisir les interactions complètes. Le ratio 3:1 a été choisi après des tests sur des proxies à résolution réduite, pas sur intuition.

La deuxième astuce technique est les Block Attention Residuals : au lieu de recalculer les représentations riches à chaque pilier softmax, le modèle les achemine aussi dans les couches linéaires suivantes, réutilisant le travail déjà effectué. Cela augmente le rang effectif des couches profondes de 12%, selon les auteurs.

Tout ceci est entraîné de zéro, ce n’est pas une simplification d’un modèle existant. La différence compte : linéariser un modèle déjà entraîné est moins coûteux mais dégrade la qualité. Entraîner l’architecture hybride de zéro coûte plus cher en training mais produit un modèle qui sait travailler avec sa structure dès le départ.

Les chiffres de vitesse sont mesurés sur H100, une GPU de data center qui coûte autant qu’une voiture. Le passage à une GPU grand public (les RTX série 40 ou 50 qu’un professionnel pourrait avoir sur son bureau) n’est ni immédiat ni garanti. Les optimisations de pile complète (kernel fusion, caching, attention sparse) sont calibrées sur du hardware spécifique. Avant de le considérer comme réalisable sur sa propre machine, il faut voir les chiffres réels sur une RTX 4090 ou 5090.

La comparaison avec Wan 2.2-A14B (120 fois plus lent sur le même H100) est suggestive mais partielle : Wan est un modèle plus grand et la comparaison porte sur le modèle 5B de SANA. Le modèle 14B de SANA aurait des chiffres différents.

Le code est ouvert sur GitHub, mais les poids complets et les instructions de configuration doivent être vérifiés sur le repo. L’histoire est prometteuse pour ceux qui génèrent du contenu vidéo et veulent sortir de la logique du pay-per-clip cloud, mais le passage de H100 en laboratoire à GPU grand public a encore des étapes à descendre.