Modelli linguistici quantizzati a 1 bit girano direttamente nel browser via WebGPU, usando la scheda grafica senza un server dietro. Il modello si scarica come asset della pagina e l’inferenza avviene nel tab aperto.

Fino a ieri, fare inferenza locale significava installare qualcosa: Ollama, LM Studio, un runtime Python. Il salto a una pagina web cambia la distribuzione. Se costruisci strumenti AI per professionisti che non sono ingegneri, il fatto che il modello giri in un browser senza installazione abbatte la barriera di ingresso.

La quantizzazione a 1 bit comprime i pesi del modello drasticamente: ogni peso, invece di occupare 16 o 8 bit, ne occupa uno (0 o 1, oppure -1/0/1 nelle varianti ternary). Un modello che in FP16 pesa gigabyte diventa scaricabile come asset di una pagina web. Il costo è la qualità: i modelli a 1 bit perdono precisione e per ora reggono su compiti semplici, non su ragionamento lungo.

Come raccontavamo il 20 luglio, il primo segnale di questo passaggio era già emerso. Ora la tendenza si consolida: le demo si moltiplicano e il deployment diretto via pagina web diventa un’opzione concreta per chi vuole portare un modello nelle mani di utenti senza fargli installare nulla.