Petals esegue modelli linguistici grandi in locale distribuendo i pesi fra i dispositivi, in stile BitTorrent. Carichi un pezzo del modello sulla tua GPU consumer, ti colleghi a una rete di persone che servono gli altri pezzi, e usi il modello intero.

La differenza rispetto a un’API cloud è il controllo: hai accesso al modello in PyTorch, puoi fare fine-tuning, seguire percorsi personalizzati, leggere gli hidden states. La differenza rispetto a un’installazione locale solitaria è che non ti serve un cluster di GPU.

I modelli aperti continuano a crescere di dimensione, come il Kimi K3 da 2,8T parametri rilasciato a luglio. Petals affronta il problema speculare: come li esegui senza un data center. Sul sito del progetto si dichiarano fino a 6 token al secondo per Llama 2 70B e 4 per Falcon 180B, sufficienti per un chatbot interattivo.

Il compromesso è la dipendenza dalla rete. Se i peer che servono i pezzi critici vanno offline, il modello rallenta. E la velocità dichiarata vale per single-batch inference, non per carichi di lavoro pesanti.

Se vuoi provarci

Il notebook Colab linkato sul sito di Petals è il punto di partenza più rapido, senza installazione locale.

Nel dettaglio

L’inferenza locale sta prendendo strade diverse. C’è chi quantizza i modelli a 1 bit per farli girare in una pagina web, riducendo il modello finché sta su un singolo dispositivo. Petals prende la strada opposta: tiene il modello alle sue dimensioni originali e distribuisce il carico di calcolo.

Il meccanismo funziona così. Un modello linguistico è una sequenza di strati (layer), ciascuno con i suoi pesi. In un’installazione normale, tutti gli strati stanno sulla stessa macchina. Con Petals, ogni dispositivo della rete carica un gruppo di strati. Quando generi testo, la tua GPU calcola i primi strati, passa il risultato intermedio al dispositivo successivo, che calcola i suoi strati, e così via fino alla fine. Il risultato finale torna a te.

È lo stesso principio di BitTorrent, ma applicato al calcolo invece che al trasferimento di file: nessuno ha il modello intero, ma la rete insieme lo serve tutto.

I vantaggi pratici vanno oltre la generazione di testo. Perché hai accesso al modello a livello PyTorch e Hugging Face Transformers, puoi applicare metodi di sampling personalizzati, eseguire fine-tuning, o ispezionare gli hidden states. Su un’API cloud queste cose non sono disponibili: ti viene restituito solo il testo generato. Per chi fa ricerca o sperimenta tecniche di post-training, avere un modello da centinaia di miliardi di parametri accessibile a questo livello cambia il tipo di esperimenti possibili.

I limiti sono concreti. La latenza dipende dalla rete di peer: se chi serve gli strati critici si scollega, il modello rallenta o si blocca. Le velocità dichiarate sul sito di Petals (6 token/sec per Llama 2 70B, 4 per Falcon 180B) valgono per single-batch inference, cioè una richiesta alla volta. Non è pensato per servire traffico concorrente, e la dipendenza dalla rete lo rende inadatto a carichi di produzione stabili.

La sicurezza è un punto aperto. Ti fidi che i peer della rete calcolino i pesi corretti: un peer malevolo potrebbe alterare i risultati intermedi senza che tu te ne accorga. È un compromesso diverso da quello di un’API cloud, dove il provider garantisce l’integrità del calcolo.

Petals fa parte del workshop di ricerca BigScience, il progetto che ha prodotto BLOOM (176B), uno dei primi modelli aperti di grandi dimensioni. L’approccio distribuito ha senso in un momento in cui i modelli open-weight crescono rapidamente: quando il modello più grande rilasciato aperto passa da 176B a 2,8T di parametri in pochi anni, la distribuzione del carico diventa una necessità concreta per chi vuole eseguirli in privato.

Per chi è pronto ad accettare la fragilità della rete in cambio del controllo sui propri dati, Petals è un’opzione che prima non esisteva. Per chi ha bisogno di stabilità e throughput, le API cloud restano la scelta giusta.