Les modèles linguistiques quantifiés 1 bit s’exécutent directement dans le navigateur via WebGPU, en utilisant la carte graphique sans serveur derrière. Le modèle se télécharge comme asset de la page et l’inférence se fait dans l’onglet ouvert.

Jusqu’à hier, faire de l’inférence locale signifiait installer quelque chose : Ollama, LM Studio, un runtime Python. Le passage à une page web change la distribution. Si tu construis des outils IA pour des professionnels qui ne sont pas des ingénieurs, le fait que le modèle tourne dans un navigateur sans installation réduit considérablement la barrière d’entrée.

La quantification 1 bit compresse drastiquement les poids du modèle : chaque poids, au lieu d’occuper 16 ou 8 bits, n’en occupe qu’un (0 ou 1, ou -1/0/1 dans les variantes ternary). Un modèle qui en FP16 pèse des gigabytes devient téléchargeable comme asset d’une page web. Le coût, c’est la qualité : les modèles 1 bit perdent en précision et pour l’instant ne fonctionnent que sur des tâches simples, pas sur le raisonnement long.

Comme nous l’avons raconté le 20 juillet, le premier signal de ce passage avait déjà émergé. Maintenant la tendance se consolide : les démos se multiplient et le déploiement direct via page web devient une option concrète pour qui veut mettre un modèle entre les mains des utilisateurs sans leur faire installer quoi que ce soit.