La communauté webml-community a publié sur Hugging Face un Space appelé Bonsai 1-bit WebGPU : des modèles de langage quantifiés à 1 bit qui tournent directement dans le navigateur, en utilisant le GPU via WebGPU, sans serveur derrière. La discussion sur Hacker News a dépassé les 100 points.

Pour ceux qui utilisent l’IA dans leur travail, le point est simple : si l’inférence se fait dans ton navigateur, tes données ne quittent pas l’appareil. Pas d’API pay-per-token, pas de latence réseau, pas de préoccupations sur ce qui arrive au texte que tu colles. Le mouvement vers l’inférence locale avait déjà commencé avec des outils comme Ollama et LM Studio Bionic, mais ils nécessitaient d’installer une application. Ici, tu ouvres une page web et le modèle démarre.

Les modèles 1-bit représentent un niveau extrême de quantification : au lieu de stocker chaque poids comme un nombre en virgule flottante, on le réduit à des valeurs comme -1, 0, +1. Le modèle devient beaucoup plus petit et rapide à exécuter, au prix d’une qualité inférieure par rapport au modèle original à 16 bits.

La limite est claire : c’est une démo, pas un produit. La qualité des modèles 1-bit est encore loin des frontières, et les performances dépendent du GPU de l’appareil. Mais comme signal sur la direction que prend l’inférence locale, c’est concret.

Si tu veux l’essayer, le Space est accessible sur Hugging Face : il faut un navigateur avec support WebGPU (Chrome sur desktop, pour l’instant).

En détail

Ce qui était possible avant.

Jusqu’à récemment, exécuter un LLM dans le navigateur signifiait utiliser WebAssembly, qui s’exécute sur le CPU et reste lent pour les modèles au-delà de quelques milliards de paramètres. L’alternative était d’installer un outil local : Ollama, llama.cpp, ou plus récemment LM Studio Bionic pour un agent local avec des modèles ouverts. Tous nécessitent une installation, une certaine connaissance technique et une machine avec suffisamment de RAM.

WebGPU a changé la première partie du problème : depuis que Chrome et d’autres navigateurs le supportent, une page web peut accéder au GPU pour des calculs génériques, pas seulement pour le rendu graphique. Cela ouvre la voie à une inférence accélérée sans rien installer.

Qu’est-ce que les modèles 1-bit.

Un modèle de langage est, sous le capot, une immense collection de nombres (les poids). Traditionnellement, chaque poids est un nombre à 16 bits. La quantification réduit la précision pour économiser la mémoire : 8 bits, puis 4 bits, puis 2 bits. Les modèles 1-bit vont plus loin : chaque poids vaut -1, 0 ou +1.

Cela signifie que la multiplication matricielle, l’opération la plus coûteuse de l’inférence, se transforme en simples additions et soustractions. Le modèle occupe une fraction de la mémoire originale et l’inférence consomme beaucoup moins de bande passante. Le compromis est qu’il faut des modèles plus grands pour maintenir la qualité, et l’entraînement nécessite des techniques spécifiques qui ne sont pas encore standards. La recherche qui a rendu cette idée populaire est BitNet de Microsoft, suivie de variantes ternaires (avec la valeur zéro) comme BitNet b1.58.

Ce qui change avec Bonsai WebGPU.

Le Space combine deux choses : des modèles 1-bit (donc petits et légers) et WebGPU (donc accélération GPU dans le navigateur). Le résultat pratique est que tu ouvres une page, le modèle se télécharge en arrière-plan et démarre, sans que tu installes rien ou paies une API. Pour ceux qui construisent des outils IA et veulent offrir une inférence privée à leurs utilisateurs, c’est un modèle nouveau : au lieu d’envoyer les données à un serveur, tu envoies le modèle au navigateur.

Les limites concrètes.

La qualité des modèles 1-bit est encore inférieure à celle des modèles à 16 bits. Ils ne conviennent pas aux tâches qui nécessitent un raisonnement complexe ou la génération de texte long et articulé. Les performances dépendent du GPU de l’appareil : sur un portable avec graphique intégrée c’est lent, sur une machine avec GPU dédié ça fonctionne bien. La mémoire du navigateur est limitée par rapport à un processus natif. Et la démo actuelle est exactement cela : il n’y a pas de documentation sur les modèles disponibles, ni d’instructions sur comment intégrer le système dans un produit réel.

Pour l’instant, la valeur réside dans le signal. L’inférence locale dans le navigateur est passée de théoriquement possible à concrètement visible. Quand les modèles 1-bit s’amélioreront et que WebGPU sera supporté sur plus de navigateurs, le modèle du « modèle qui tourne dans la page » deviendra un choix pratique, pas seulement une expérience sur Hacker News.