Mesh LLM est un système qui exécute des modèles de langage distribués sur un réseau peer-to-peer construit sur iroh. Au lieu d’acheter des GPU plus puissantes ou de payer une API centralisée, il agrège les machines que tu as — laptop, serveurs de bureau, boîtiers sous la table — et les fait fonctionner comme une unique ressource. Chaque nœud expose un endpoint compatible OpenAI sur localhost:9337/v1, de sorte que les clients existants fonctionnent sans modification.

Quand une requête arrive, le système décide automatiquement : l’exécuter localement si le modèle est déjà chargé, la transférer à un peer qui l’a prêt, ou fractionner le modèle par couches sur plusieurs machines s’il est trop volumineux pour une seule. Ce troisième scénario — appelé en interne Skippy — permet d’exécuter des modèles de 235 milliards de paramètres sur du matériel modeste, en passant les activations d’un nœud à l’autre comme dans un pipeline.

Pourquoi ça te concerne. Si tu évalues l’auto-hébergement pour contrôler les coûts, la confidentialité ou la stabilité du modèle, c’est une approche concrète : pas d’enfermement propriétaire, aucun éditeur qui change le modèle ou les prix sous tes pieds. Le catalogue démarre avec plus de 40 modèles prêts, de 500 millions de paramètres et au-delà. La partie opérationnelle — traversée NAT, authentification par clé publique, relais — est gérée par iroh, qui fonctionne déjà en production sur des centaines de milliers d’appareils.

Si tu veux essayer. Le logiciel pèse 18 MB. Tu l’installes, lances un nœud, et pointes tout client OpenAI vers http://localhost:9337/v1. Pour configurer un réseau privé au lieu de rejoindre le mesh public, la documentation est sur le site de Mesh LLM. Une application mobile arrive bientôt, construite sur le SDK Swift d’iroh.

En détail

Ce qu’il y avait avant

Les gros modèles s’exécutent sur des gros GPU, et les gros GPU sont dans les datacenters de quelqu’un d’autre. Tu peux les utiliser via une API, mais tu cèdes le contrôle : tu ne sais pas quand le modèle change, tu ne décides pas où vont tes données, et la facture grossit avec l’usage sans levier pour la réduire. L’auto-hébergement signifie acheter du matériel qui dépasse souvent un cas d’usage unique, ou accepter des modèles plus petits.

Les approches distribuées existaient déjà (FlexGen, Petals), mais elles nécessitaient des configurations complexes ou se limitaient à des scénarios académiques. Mesh LLM vise à le rendre opérationnel : vrai peer-to-peer, sans coordinateur central, avec l’authentification et la traversée NAT résolues en dessous.

Comment ça fonctionne vraiment

Chaque nœud démarre un endpoint iroh, identifié par une clé publique. Iroh est une bibliothèque de réseau qui ouvre des connexions QUIC directes et authentifiées entre appareils peu importe où ils se trouvent, même derrière NAT. Si la connexion directe échoue, deux relais publics dans des régions différentes garantissent un chemin.

Sur QUIC, Mesh LLM construit trois canaux ALPN :

• mesh-llm/1 : le canal principal, qui transporte le gossip (quels modèles a chaque nœud, GPU disponible, latence), les requêtes HTTP tunnellisées vers les pairs, et les flux de contrôle.
• mesh-llm-control/1 : le plan de contrôle pour les propriétaires du mesh privé (synchronisation de la configuration, attestations de propriété).
• skippy-stage/2 : le canal optimisé pour la basse latence qui transporte les activations entre les étapes d’un modèle fractionné.

Dans le canal principal, chaque stream QUIC a un octet initial qui indique le type de message qu’il porte : gossip (0x01), tunnel HTTP pour inférence (0x04), requête de route (0x05), notification de pair mort (0x06), et ainsi de suite. Une unique connexion démultiplexe tout.

Quand un modèle est trop volumineux pour une machine, Mesh LLM le partitionne par plage de couches : les couches 0 à 15 sur un nœud, 16–31 sur un autre, jusqu’au bout. Les activations s’écoulent d’une étape à la suivante. Le client ne voit pas cette complexité : il appelle toujours localhost:9337/v1/chat/completions.

Quel est le niveau de maturité

Le projet a reçu 198 points sur Hacker News et 44 commentaires le jour du lancement, un signal de traction dans la communauté technique. Iroh, la bibliothèque sous-jacente, s’exécute déjà en production sur des centaines de milliers d’appareils, donc la partie réseau n’est pas une expérience. Mesh LLM lui-même est nouveau : l’application mobile manque encore, et le support ACP (le protocole d’agent émergent) est annoncé mais pas encore disponible.

Les limites pratiques dépendent de la latence entre les nœuds : fractionner un modèle sur des machines éloignées ralentit l’inférence. Le mesh public introduit le risque de pairs peu fiables, bien que chaque nœud authentifie les autres par clé. Les mesh privés résolvent ce problème mais nécessitent une configuration.

Où ça se situe

Mesh LLM répond à une question qui revient souvent : comment faire de l’auto-hébergement sans acheter des racks entiers ? La réponse est d’agréger ce que tu as. Ce n’est pas la première implémentation peer-to-peer pour LLM, mais c’est la première qui part d’une bibliothèque de réseau déjà éprouvée et offre une compatibilité immédiate avec les clients OpenAI. C’est une alternative concrète si le contrôle sur les modèles compte plus que la commodité d’une API gérée.

Pour ceux qui construisent des agents ou des automations qui doivent s’exécuter localement, ou pour les équipes qui veulent partager des GPU internes sans exposer les données à un tiers, c’est un chemin à évaluer. Pour ceux qui optimisent pour la latence minimale ou qui veulent des garanties de disponibilité, une API centralisée reste plus adaptée.