Mesh LLM es un sistema que ejecuta modelos de lenguaje distribuidos en una red peer-to-peer construida sobre iroh. En lugar de comprar GPU más grandes o pagar una API centralizada, agrega las máquinas que tienes —portátiles, servidores de oficina, cajas bajo el escritorio— y las hace trabajar como un único recurso. Cada nodo expone un endpoint compatible con OpenAI en localhost:9337/v1, así que los clientes existentes funcionan sin cambios.

Cuando llega una solicitud, el sistema decide automáticamente: ejecutarla localmente si el modelo ya está cargado, reenviarla a un peer que lo tiene listo, o dividir el modelo por capas en varias máquinas si es demasiado grande para una sola. Este tercer escenario —llamado internamente Skippy— permite ejecutar modelos de 235 mil millones de parámetros en hardware modesto, pasando las activaciones de un nodo al siguiente como en un pipeline.

Por qué te importa. Si estás evaluando auto-hospedaje para controlar costos, privacidad o estabilidad del modelo, este es un enfoque concreto: sin lock-in, sin vendor que cambie el modelo o los precios por debajo de ti. El catálogo comienza con más de 40 modelos listos, desde cientos de millones de parámetros en adelante. La parte operativa —NAT traversal, autenticación por clave pública, relay— la gestiona iroh, que ya está en producción en cientos de miles de dispositivos.

Si quieres probarlo. El software pesa 18 MB. Instalas, lanzas un nodo, y apuntas cualquier cliente OpenAI a http://localhost:9337/v1. Para configurar una red privada en lugar de unirte a la mesh pública, la documentación está en el sitio de Mesh LLM. Una app móvil está en camino, construida sobre el SDK Swift de iroh.

En detalle

Lo que había antes

Los modelos grandes se ejecutan en GPU grandes, y las GPU grandes están en datacenters de alguien más. Puedes usarlos vía API, pero cedes el control: no sabes cuándo cambia el modelo, no decides dónde van tus datos, y la factura crece con el uso sin apalancamiento para reducirla. Auto-hospedaje significa comprar hardware que a menudo excede el caso de uso individual, u aceptar modelos más pequeños.

Ya existían enfoques distribuidos (FlexGen, Petals), pero requerían configuraciones complejas o se limitaban a escenarios académicos. Mesh LLM apunta a hacerlo operativo: peer-to-peer genuino, sin coordinador central, con la autenticación y el NAT traversal resueltos por debajo.

Cómo funciona realmente

Cada nodo inicia un endpoint iroh, identificado por una clave pública. Iroh es una librería de networking que abre conexiones QUIC directas autenticadas entre dispositivos en cualquier lugar, incluso detrás de NAT. Si la conexión directa falla, dos relay públicos en regiones diferentes garantizan una ruta.

Sobre QUIC, Mesh LLM construye tres canales ALPN:

• mesh-llm/1: el canal principal, que transporta gossip (qué modelos tiene cada nodo, GPU disponible, latencia), solicitudes HTTP tunelizadas hacia los peers, y los flujos de control.
• mesh-llm-control/1: el plano de control para los propietarios de la mesh privada (sincronización de configuración, atestaciones de propiedad).
• skippy-stage/2: el canal optimizado para baja latencia que transporta activaciones entre las etapas de un modelo dividido.

Dentro del canal principal, cada stream QUIC tiene un byte inicial que indica qué tipo de mensaje porta: gossip (0x01), túnel HTTP para inferencia (0x04), solicitud de ruta (0x05), notificación de peer muerto (0x06), y así sucesivamente. Una única conexión desmultiplexa todo.

Cuando un modelo es demasiado grande para una máquina, Mesh LLM lo particiona por rango de capas: capas 0 a 15 en un nodo, 16–31 en otro, hasta el final. Las activaciones fluyen de una etapa a la siguiente. El cliente no ve esta complejidad: siempre llama a localhost:9337/v1/chat/completions.

Qué tan maduro es

El proyecto recibió 198 puntos en Hacker News y 44 comentarios el día de su lanzamiento, una señal de tracción en la comunidad técnica. Iroh, la librería subyacente, ya se ejecuta en producción en cientos de miles de dispositivos, así que la parte de networking no es un experimento. Mesh LLM en sí es nuevo: aún falta la app móvil, y el soporte para ACP (el protocolo agent emergente) se anuncia pero aún no está disponible.

Los límites prácticos dependen de la latencia entre nodos: dividir un modelo en máquinas lejanas ralentiza la inferencia. La mesh pública introduce el riesgo de peers no confiables, aunque cada nodo autentica a los otros por clave. Las mesh privadas resuelven este problema pero requieren configuración.

Dónde se sitúa

Mesh LLM responde a una pregunta recurrente: ¿cómo se hace auto-hospedaje sin comprar racks completos? La respuesta es agregar lo que tienes. No es la primera implementación peer-to-peer para LLM, pero es la primera que parte de una librería de networking ya validada y ofrece compatibilidad inmediata con clientes OpenAI. Vale como alternativa concreta si el control sobre los modelos importa más que la comodidad de una API gestionada.

Para quienes construyen agentes o automaciones que deben ejecutarse localmente, o para equipos que quieren compartir GPU internas sin exponer datos a terceros, este es un camino para considerar. Para quien en cambio optimiza por latencia mínima o quiere garantías de uptime, una API centralizada sigue siendo más adecuada.