Mesh LLM è un sistema che fa girare modelli linguistici distribuiti su una rete peer-to-peer costruita su iroh. Invece di comprare GPU più grandi o pagare un’API centralizzata, aggrega le macchine che hai — laptop, server da ufficio, box sotto la scrivania — e le fa lavorare come un’unica risorsa. Ogni nodo espone un endpoint compatibile OpenAI su localhost:9337/v1, così i client esistenti funzionano senza modifiche.

Quando arriva una richiesta, il sistema decide in autonomia: farla girare in locale se il modello è già caricato, inoltrarla a un peer che ce l’ha pronto, oppure spaccare il modello a strati su più macchine se è troppo grande per una sola. Questo terzo scenario — chiamato internamente Skippy — permette di far girare modelli da 235 miliardi di parametri su hardware modesto, passando le attivazioni da un nodo all’altro come in una pipeline.

Perché ti riguarda. Se stai valutando il self-hosting per controllo sui costi, sulla privacy o sulla stabilità del modello, questo è un approccio concreto: niente lock-in, nessun vendor che cambia modello o prezzi sotto di te. Il catalogo parte con oltre 40 modelli pronti, dal mezzo miliardo di parametri in su. La parte operativa — NAT traversal, autenticazione per chiave pubblica, relay — è gestita da iroh, che ha già produzione su centinaia di migliaia di device.

Se vuoi provarci. Il software pesa 18 MB. Installi, lanci un nodo, e punti qualsiasi client OpenAI a http://localhost:9337/v1. Per configurare una rete privata invece di unirti alla mesh pubblica, la documentazione è sul sito di Mesh LLM. Un’app mobile è in arrivo, costruita sull’SDK Swift di iroh.

Nel dettaglio

Cosa c’era prima

I modelli grandi girano su GPU grandi, e le GPU grandi stanno nei datacenter di qualcun altro. Puoi usarli via API, ma cedi il controllo: non sai quando il modello cambia, non decidi dove vanno i tuoi dati, e la bolletta cresce con l’uso senza leva per abbatterla. Self-hosting significa comprare hardware che spesso supera il singolo caso d’uso, oppure accettare modelli più piccoli.

Gli approcci distribuiti esistevano già (FlexGen, Petals), ma richiedevano configurazioni complesse o si limitavano a scenari accademici. Mesh LLM punta a renderlo operativo: peer-to-peer vero, senza coordinatore centrale, con l’autenticazione e il NAT traversal risolti sotto.

Come funziona davvero

Ogni nodo avvia un endpoint iroh, identificato da una chiave pubblica. Iroh è una libreria di networking che apre connessioni QUIC dirette, autenticate, fra device ovunque si trovino, anche dietro NAT. Se la connessione diretta fallisce, due relay pubblici in regioni diverse garantiscono un percorso.

Sopra QUIC, Mesh LLM costruisce tre canali ALPN:

• mesh-llm/1: il canale principale, che porta gossip (quali modelli ha ogni nodo, GPU disponibile, latenza), richieste HTTP tunnellate verso i peer, e i flussi di controllo.
• mesh-llm-control/1: il piano di controllo per i proprietari della mesh privata (sync della configurazione, attestazioni di ownership).
• skippy-stage/2: il canale ottimizzato per latenza bassa che trasporta le attivazioni fra gli stadi di un modello splittato.

All’interno del canale principale, ogni stream QUIC ha un byte iniziale che dice che tipo di messaggio porta: gossip (0x01), tunnel HTTP per inferenza (0x04), richiesta di route (0x05), notifica di peer morto (0x06), e così via. Un’unica connessione demultiplexa tutto.

Quando un modello è troppo grande per una macchina, Mesh LLM lo partiziona per range di layer: i layer da 0 a 15 su un nodo, 16–31 su un altro, fino alla fine. Le attivazioni scorrono da uno stadio al successivo. Il client non vede questa complessità: chiama sempre localhost:9337/v1/chat/completions.

Quanto è maturo

Il progetto ha ricevuto 198 punti su Hacker News e 44 commenti il giorno del lancio, un segnale di trazione nella comunità tecnica. Iroh, la libreria sottostante, gira già in produzione su centinaia di migliaia di device, quindi la parte networking non è un esperimento. Mesh LLM stesso è nuovo: manca ancora l’app mobile, e il supporto ACP (il protocollo agent emergente) è annunciato ma non ancora disponibile.

I limiti pratici dipendono dalla latenza fra i nodi: spaccare un modello su macchine lontane rallenta l’inferenza. La mesh pubblica introduce il rischio di peer non affidabili, anche se ogni nodo autentica gli altri per chiave. Le mesh private risolvono questo problema ma richiedono configurazione.

Dove si colloca

Mesh LLM risponde a una domanda che torna spesso: come si fa self-hosting senza comprare rack interi? La risposta è aggregare quello che hai. Non è la prima implementazione peer-to-peer per LLM, ma è la prima che parte da una libreria di networking già collaudata e offre compatibilità immediata con i client OpenAI. Vale come alternativa concreta se il controllo sui modelli conta più della comodità di un’API gestita.

Per chi costruisce agenti o automazioni che devono girare in locale, o per team che vogliono condividere GPU interne senza esporre dati a un terzo, questo è un percorso da valutare. Per chi invece ottimizza per latenza minima o vuole garanzie di uptime, un’API centralizzata resta più adatta.