La comunidad webml-community ha publicado en Hugging Face un Space llamado Bonsai 1-bit WebGPU: modelos de lenguaje cuantizados a 1 bit que se ejecutan directamente en el navegador, usando la GPU a través de WebGPU, sin un servidor detrás. El debate en Hacker News ha superado los 100 puntos.

Para quién usa IA en su trabajo, el punto es simple: si la inferencia ocurre en tu navegador, tus datos no abandonan el dispositivo. Nada de APIs de pago por token, nada de latencia de red, nada de preocupaciones sobre qué sucede con el texto que pegas. El movimiento hacia la inferencia local ya había comenzado con herramientas como Ollama y LM Studio Bionic, pero requerían instalar una aplicación. Aquí abres una página web y el modelo arranca.

Los modelos 1-bit representan un nivel extremo de cuantización: en lugar de almacenar cada peso como un número de punto flotante, se reduce a valores como -1, 0, +1. El modelo se vuelve mucho más pequeño y rápido de ejecutar, al costo de una calidad inferior en comparación con el modelo original de 16 bits.

El límite es claro: estamos ante una demostración, no ante un producto. La calidad de los modelos 1-bit sigue siendo inferior a los modelos de frontera, y el rendimiento depende de la GPU del dispositivo. Pero como señal de hacia dónde se dirige la inferencia local, es concreta.

Si quieres probarlo, el Space está disponible en Hugging Face: necesitas un navegador con soporte WebGPU (Chrome en escritorio, por ahora).

En detalle

Lo que era posible antes.

Hasta hace poco, ejecutar un LLM en el navegador significaba usar WebAssembly, que se ejecuta en la CPU y sigue siendo lento para modelos de más de unos pocos miles de millones de parámetros. La alternativa era instalar una herramienta local: Ollama, llama.cpp, o más recientemente LM Studio Bionic para un agente local con modelos abiertos. Todos requieren instalación, cierto conocimiento técnico y una máquina con suficiente RAM.

WebGPU cambió la primera parte del problema: desde que Chrome y otros navegadores lo soportan, una página web puede acceder a la GPU para cálculos genéricos, no solo para renderizar gráficos. Esto abre el camino a una inferencia acelerada sin instalar nada.

Qué son los modelos 1-bit.

Un modelo de lenguaje es, en esencia, una colección enormemente grande de números (los pesos). Tradicionalmente, cada peso es un número de 16 bits. La cuantización reduce la precisión para ahorrar memoria: 8 bits, luego 4 bits, luego 2 bits. Los modelos 1-bit van más allá: cada peso vale -1, 0 o +1.

Esto significa que la multiplicación de matrices, la operación más costosa en inferencia, se transforma en simples sumas y restas. El modelo ocupa una fracción de la memoria original y la inferencia consume mucho menos ancho de banda. El compromiso es que se necesitan modelos más grandes para mantener la calidad, y el entrenamiento requiere técnicas específicas que aún no son estándar. La investigación que popularizó esta idea es BitNet de Microsoft, seguida de variantes ternarias (con el valor cero) como BitNet b1.58.

Qué cambia con Bonsai WebGPU.

El Space combina dos cosas: modelos 1-bit (por lo tanto, pequeños y ligeros) y WebGPU (por lo tanto, aceleración GPU en el navegador). El resultado práctico es que abres una página, el modelo se descarga en segundo plano y arranca, sin que instales nada ni pagues una API. Para quien construye herramientas de IA y quiere ofrecer inferencia privada a sus usuarios, este es un patrón nuevo: en lugar de enviar datos a un servidor, envías el modelo al navegador.

Los límites concretos.

La calidad de los modelos 1-bit sigue siendo inferior a los modelos de 16 bits. No son adecuados para tareas que requieran razonamiento complejo o generación de texto largo y articulado. El rendimiento depende de la GPU del dispositivo: en una laptop con gráficos integrados va lento, en una máquina con GPU dedicada funciona bien. La memoria del navegador es limitada comparada con un proceso nativo. Y la demostración actual es exactamente eso: no hay documentación sobre los modelos disponibles, ni instrucciones sobre cómo integrar el sistema en un producto real.

Por ahora el valor está en la señal. La inferencia local en el navegador pasó de ser teóricamente posible a estar concretamente visible. Cuando los modelos 1-bit mejoren y WebGPU sea compatible con más navegadores, el patrón del “modelo que se ejecuta en la página” se convertirá en una opción práctica, no solo en un experimento de Hacker News.