Hetzner, el operador alemán conocido por servidores económicos, está experimentando un servicio de inferencia LLM con API compatible con OpenAI. Por ahora hay un solo modelo (Qwen 3.6-35B, un MoE con 3 mil millones de parámetros activos), sin facturación, sin SLA: es un experimento declarado para entender si la gente realmente quiere usarlo.

Por qué te importa. El compute para IA está saliendo del monopolio de los laboratorios. En pocos días hemos contado AMD invirtiendo 5 mil millones en Anthropic y Google poniendo 40 millones de tokens en investigación. Hetzner es un operador diferente: no construye modelos, no tiene laboratorios, compra hardware y lo gestiona con márgenes muy ajustados. Si la inferencia open-weight se convierte en commodity, quien sepa comprar y operar GPUs a bajo costo tiene una ventaja concreta.

Las primeras pruebas reportan 153 ms al primer token y 224 tokens por segundo en output (23 de julio de 2026, fuente: Sliplane). Es una medición única, en un solo cliente, sin carga concurrente. El modelo sigue las instrucciones de formato pero falla en dos cálculos aritméticos simples: el rango que esperas de un 35B.

La señal importa más que los números. Si operadores de infraestructura como Hetzner entran en el mercado de la inferencia, el costo por token de los modelos abiertos podría bajar aún más. Y la elección del proveedor se convierte en una cuestión de precio y latencia, no de acceso al modelo.

En detalle

Qué había antes.

Hasta hoy, la inferencia LLM bajo demanda era dominio de tres tipos de actores: los laboratorios que construyen modelos (OpenAI, Anthropic, Google), las grandes nubes (AWS Bedrock, Azure) y una galaxia de proveedores especializados como Together AI, Fireworks o Groq. Hetzner no está en ninguna de estas categorías: es un proveedor de hosting que vende servidores físicos y virtuales a precios agresivos, con una reputación construida sobre eficiencia operativa.

Qué cambia.

El experimento de Hetzner es pequeño pero apunta a un punto débil del mercado actual. Los modelos open-weight, una vez descargados, son iguales para todos: cualquiera puede tomar los mismos pesos de Qwen, hacerlos correr con el mismo software de serving (vLLM, TGI) y exponerlos mediante API compatible con OpenAI. Esto significa que diferenciarse es difícil y los márgenes se comprimen rápidamente.

La ventaja competitiva se desplaza entonces a tres cosas: comprar GPUs a buen precio, mantenerlas siempre ocupadas y gestionar los data centers con costos bajos. Hetzner ha construido toda su empresa exactamente sobre estas tres cosas.

Hay también un razonamiento de utilización. Un servidor GPU bare-metal alquilado a un cliente es suyo, lo uses o no. Una API de inferencia comparte la misma GPU entre muchos usuarios y la mantiene ocupada. Si Hetzner tiene capacidad GPU excedente, o planea escalarla, un producto de inferencia convierte ese costo fijo en ingresos.

Los detalles técnicos (sin jerga).

La API es compatible con el cliente OpenAI estándar: cambias la base_url, pones tu token y funciona. El modelo servido es Qwen 3.6-35B-A3B-FP8, una arquitectura Mixture-of-Experts: 35 mil millones de parámetros totales pero solo 3 mil millones activos por cada token generado, porque el modelo activa solo los “expertos” relevantes para cada fragmento de texto. Los pesos están cuantizados en FP8, un formato de 8 bits que reduce a la mitad la memoria necesaria comparado con el clásico FP16. Los archivos pesan aproximadamente 38 GB, que caben cómodamente en las GPUs de 96 GB de VRAM que Hetzner tiene en sus servidores.

Un detalle interesante: el modelo tiene una opción enable_thinking que, si no se desactiva explícitamente, gasta una parte sorprendente del presupuesto de completamiento en razonamiento invisible antes de devolver la respuesta. Funciona en las pruebas pero no está documentado por Hetzner.

Cuánta confianza tener.

Muy poca, por ahora, y eso es correcto. Hetzner lo dice claramente: sin facturación, sin SLA, sin garantía de producción. Un solo modelo, un solo tipo de GPU documentado, sin información sobre cómo escala bajo carga. Los números de latencia (153 ms al primer token, 224 tokens/s en output) vienen de una prueba única con un solo cliente y dicen casi nada sobre el comportamiento con muchos usuarios concurrentes.

El hardware también plantea una pregunta abierta. Las GPUs publicadas en el catálogo de Hetzner son NVIDIA RTX 4000 SFF Ada (20 GB) y RTX PRO 6000 Blackwell Max-Q (96 GB). Son GPUs de estación de trabajo, no las H100 o B200 que usan los proveedores especializados. Son suficientes para modelos pequeños y medianos, pero no para los frontier.

Qué no concluir.

Esto no significa que Hetzner reemplace a OpenAI o Anthropic. Significa que el mercado de la inferencia open-weight, hoy fragmentado entre proveedores de nicho, está atrayendo operadores con escala y costos diferentes. Si la tendencia se confirma, quien use modelos abiertos tendrá más opciones y precios más bajos. Quien dependa de modelos frontier propietarios no verá cambio inmediato.