La community webml-community ha pubblicato su Hugging Face uno Space chiamato Bonsai 1-bit WebGPU: modelli linguistici quantizzati a 1 bit che girano direttamente nel browser, usando la GPU tramite WebGPU, senza un server dietro. La discussione su Hacker News ha superato i 100 punti.

Per chi usa l’AI nel proprio lavoro, il punto è semplice: se l’inferenza avviene nel tuo browser, i tuoi dati non lasciano il dispositivo. Niente API pay-per-token, niente latenza di rete, niente preoccupazioni su cosa succede al testo che incolli. Il movimento verso l’inferenza locale era già iniziato con tool come Ollama e LM Studio Bionic, ma richiedevano di installare un’applicazione. Qui apri una pagina web e il modello parte.

I modelli 1-bit rappresentano un livello estremo di quantizzazione: invece di memorizzare ogni peso come numero a virgola mobile, lo si riduce a valori come -1, 0, +1. Il modello diventa molto più piccolo e veloce da eseguire, al costo di una qualità inferiore rispetto al modello originale a 16 bit.

Il limite è chiaro: siamo a una demo, non a un prodotto. La qualità dei modelli 1-bit è ancora lontana dai frontier, e le prestazioni dipendono dalla GPU del dispositivo. Ma come segnale di dove sta andando l’inferenza locale, è concreto.

Se vuoi provarci, lo Space è raggiungibile su Hugging Face: serve un browser con supporto WebGPU (Chrome su desktop, per ora).

Nel dettaglio

Cos’era possibile prima.

Fino a poco tempo fa, eseguire un LLM nel browser significava usare WebAssembly, che gira sulla CPU e resta lento per modelli oltre i pochi miliardi di parametri. L’alternativa era installare un tool locale: Ollama, llama.cpp, o più di recente LM Studio Bionic per un agente locale con modelli aperti. Tutti richiedono un’installazione, una certa conoscenza tecnica e una macchina con abbastanza RAM.

WebGPU ha cambiato la prima parte del problema: da quando Chrome e altri browser lo supportano, una pagina web può accedere alla GPU per calcoli generici, non solo per renderizzare grafica. Questo apre la strada a inferenza accelerata senza installare nulla.

Cosa sono i modelli 1-bit.

Un modello linguistico è, sotto il cofano, una collezione enorme di numeri (i pesi). Tradizionalmente ogni peso è un numero a 16 bit. La quantizzazione riduce la precisione per risparmiare memoria: 8 bit, poi 4 bit, poi 2 bit. I modelli 1-bit vanno oltre: ogni peso vale -1, 0 o +1.

Questo significa che la moltiplicazione matriciale, l’operazione più costosa nell’inferenza, si trasforma in semplici somme e sottrazioni. Il modello occupa una frazione della memoria originale e l’inferenza consuma molta meno banda. Il compromesso è che servono modelli più grandi per mantenere la qualità, e l’addestramento richiede tecniche specifiche che non sono ancora standard. La ricerca che ha reso popolare questa idea è BitNet di Microsoft, seguita da varianti ternarie (con il valore zero) come BitNet b1.58.

Cosa cambia con Bonsai WebGPU.

Lo Space combina due cose: modelli 1-bit (quindi piccoli e leggeri) e WebGPU (quindi accelerazione GPU nel browser). Il risultato pratico è che apri una pagina, il modello si scarica in background e parte, senza che tu installi nulla o paghi un’API. Per chi costruisce strumenti AI e vuole offrire inferenza privata ai propri utenti, questo è un pattern nuovo: invece di mandare i dati a un server, mandi il modello al browser.

I limiti concreti.

La qualità dei modelli 1-bit è ancora inferiore ai modelli a 16 bit. Non sono adatti a compiti che richiedono ragionamento complesso o generazione di testo lungo e articolato. Le prestazioni dipendono dalla GPU del dispositivo: su un laptop con grafica integrata va lento, su una macchina con GPU dedicata fila. La memoria del browser è limitata rispetto a un processo nativo. E la demo attuale è esattamente questo: non c’è documentazione sui modelli disponibili, né istruzioni su come integrare il sistema in un prodotto reale.

Per ora il valore sta nel segnale. L’inferenza locale nel browser è passata da teoricamente possibile a concretamente visibile. Quando i modelli 1-bit miglioreranno e WebGPU sarà supportato su più browser, il pattern del “modello che gira nella pagina” diventerà una scelta pratica, non solo un esperimento da Hacker News.