Hetzner, l’opérateur allemand connu pour ses serveurs économiques, teste un service d’inférence LLM avec une API compatible OpenAI. Pour l’instant il y a un seul modèle (Qwen 3.6-35B, un MoE avec 3 milliards de paramètres actifs), pas de facturation, pas d’SLA : c’est une expérience déclarée pour comprendre si les gens veulent vraiment l’utiliser.

Pourquoi cela vous concerne. Le compute pour l’IA sort du monopole des labs. En quelques jours nous avons rapporté AMD qui investit 5 milliards chez Anthropic et Google qui met 40 millions de tokens dans la recherche. Hetzner est un opérateur différent : il ne fabrique pas de modèles, n’a pas de laboratoires, achète du hardware et l’exploite avec des marges très fines. Si l’inférence open-weight devient une commodity, celui qui sait acheter et gérer des GPU à bas coût a un avantage concret.

Les premiers tests rapportent 153 ms au premier token et 224 tokens par seconde en sortie (23 juillet 2026, source : Sliplane). C’est une mesure unique, sur un seul client, sans charge concurrente. Le modèle suit les instructions de format mais fait deux erreurs arithmétiques simples : la gamme que tu attends d’un 35B.

Le signal compte plus que les chiffres. Si des opérateurs d’infrastructure comme Hetzner entrent sur le marché de l’inférence, le coût par token des modèles ouverts pourrait baisser encore. Et le choix du fournisseur devient une question de prix et de latence, non d’accès au modèle.

Dans les détails

Ce qu’il y avait avant.

Jusqu’à aujourd’hui, l’inférence LLM à la consommation était le domaine de trois types d’acteurs : les labs qui construisent les modèles (OpenAI, Anthropic, Google), les grands clouds (AWS Bedrock, Azure) et une galaxie de fournisseurs spécialisés comme Together AI, Fireworks ou Groq. Hetzner n’est dans aucune de ces catégories : c’est un fournisseur d’hébergement qui vend des serveurs physiques et virtuels à des prix agressifs, avec une réputation construite sur l’efficacité opérationnelle.

Ce qui change.

L’expérience de Hetzner est petite mais cible un point faible du marché actuel. Les modèles open-weight, une fois téléchargés, sont identiques pour tous : quiconque peut prendre les mêmes poids de Qwen, les faire tourner avec le même logiciel de serving (vLLM, TGI) et les exposer via une API compatible OpenAI. Cela signifie que se différencier est difficile et les marges se compriment rapidement.

L’avantage compétitif se déplace alors sur trois points : acheter des GPU à bon prix, les garder toujours occupés et gérer les data centers avec des coûts bas. Hetzner a construit toute son entreprise sur exactement ces trois choses.

Il y a aussi une logique d’utilisation. Un serveur GPU bare-metal loué à un client est le sien, tu l’utilises ou non. Une API d’inférence partage le même GPU entre plusieurs utilisateurs et le garde occupé. Si Hetzner a une capacité GPU excédentaire, ou prévoit de la scaling, un produit d’inférence transforme ce coût fixe en revenu.

Les détails techniques (sans jargon).

L’API est compatible avec le client OpenAI standard : tu changes la base_url, tu mets ton token et ça marche. Le modèle servi est Qwen 3.6-35B-A3B-FP8, une architecture Mixture-of-Experts : 35 milliards de paramètres au total mais seulement 3 milliards actifs pour chaque token généré, parce que le modèle n’active que les « experts » pertinents pour chaque portion de texte. Les poids sont quantifiés en FP8, un format 8-bit qui réduit de moitié la mémoire nécessaire par rapport au classique FP16. Les fichiers pèsent environ 38 GB, ce qui rentre facilement dans les GPU 96 GB de VRAM que Hetzner a dans ses serveurs.

Un détail intéressant : le modèle a une option enable_thinking qui, si elle n’est pas désactivée explicitement, fait dépenser une part surprenante du budget de complément en raisonnement invisible avant de retourner la réponse. Ça marche dans les tests mais ce n’est pas documenté par Hetzner.

Combien faire confiance.

Très peu, pour l’instant, et c’est normal. Hetzner le dit clairement : pas de facturation, pas d’SLA, pas de garantie de production. Un seul modèle, un seul type de GPU documenté, aucune information sur comment ça scale sous charge. Les chiffres de latence (153 ms au premier token, 224 tokens/s en sortie) viennent d’un seul test avec un seul client et ne disent presque rien sur le comportement avec plusieurs utilisateurs concurrents.

Le hardware soulève aussi une question ouverte. Les GPU publiés dans le catalogue Hetzner sont NVIDIA RTX 4000 SFF Ada (20 GB) et RTX PRO 6000 Blackwell Max-Q (96 GB). Ce sont des GPU workstation, pas les H100 ou B200 que les fournisseurs spécialisés utilisent. C’est suffisant pour les modèles petits et moyens, mais pas pour les frontier.

Ce qu’il ne faut pas conclure.

Cela ne signifie pas que Hetzner remplacera OpenAI ou Anthropic. Cela signifie que le marché de l’inférence open-weight, aujourd’hui fragmenté entre les fournisseurs de niche, attire des opérateurs avec une autre échelle et d’autres coûts. Si la tendance se confirme, ceux qui utilisent des modèles ouverts auront plus d’options et des prix plus bas. Ceux qui dépendent des modèles frontier propriétaires ne voient aucun changement immédiat.