Hetzner, l’operatore tedesco noto per i server economici, sta sperimentando un servizio di inferenza LLM con API compatibile OpenAI. Per ora c’è un solo modello (Qwen 3.6-35B, un MoE con 3 miliardi di parametri attivi), niente fatturazione, niente SLA: è un esperimento dichiarato per capire se la gente lo vuole usare davvero.

Perché ti riguarda. Il compute per l’AI sta uscendo dal monopolio dei lab. In pochi giorni abbiamo raccontato AMD che investe 5 miliardi in Anthropic e Google che mette 40 milioni di token nella ricerca. Hetzner è un operatore diverso: non fa modelli, non ha laboratori, compra hardware e lo gestisce con margini sottilissimi. Se l’inferenza open-weight diventa un commodity, chi sa comprare e operare GPU a basso costo ha un vantaggio concreto.

I primi test riportano 153 ms al primo token e 224 token al secondo in output (23 luglio 2026, fonte: Sliplane). È una misurazione singola, su un client solo, senza carico concorrente. Il modello segue le istruzioni di formato ma sbaglia due calcoli aritmetici semplici: la fascia che ti aspetti da un 35B.

Il segnale conta più dei numeri. Se operatori di infrastruttura come Hetzner entrano nel mercato dell’inferenza, il costo per token dei modelli aperti potrebbe scendere ancora. E la scelta del provider diventa una questione di prezzo e latenza, non di accesso al modello.

Nel dettaglio

Cosa c’era prima.

Fino a oggi, l’inferenza LLM a consumo era dominio di tre tipi di attori: i lab che costruiscono i modelli (OpenAI, Anthropic, Google), le grandi cloud (AWS Bedrock, Azure) e una galassia di provider specializzati come Together AI, Fireworks o Groq. Hetzner non sta in nessuna di queste caselle: è un hosting provider che vende server fisici e virtuali a prezzi aggressivi, con una reputazione costruita sull’efficienza operativa.

Cosa cambia.

L’esperimento di Hetzner è piccolo ma punta a un punto debole del mercato attuale. I modelli open-weight, una volta scaricati, sono uguali per tutti: chiunque può prendere gli stessi pesi di Qwen, farli girare con lo stesso software di serving (vLLM, TGI) ed esporli via API compatibile OpenAI. Questo significa che differenziarsi è difficile e i margini si comprimono in fretta.

Il vantaggio competitivo, allora, si sposta su tre cose: comprare GPU a buon prezzo, tenerle sempre occupate e gestire i data center con costi bassi. Hetzner ha costruito tutta la sua azienda su esattamente queste tre cose.

C’è anche un ragionamento di utilizzo. Un server GPU bare-metal affittato a un cliente è suo, lo usi o no. Un’API di inferenza condivide la stessa GPU fra molti utenti e la tiene occupata. Se Hetzner ha capacità GPU in esubero, o prevede di scalarla, un prodotto di inferenza trasforma quel costo fisso in ricavo.

I dettagli tecnici (senza gergo).

L’API è compatibile con il client OpenAI standard: cambi la base_url, metti il tuo token e funziona. Il modello servito è Qwen 3.6-35B-A3B-FP8, un’architettura Mixture-of-Experts: 35 miliardi di parametri totali ma solo 3 miliardi attivi per ogni token generato, perché il modello attiva solo gli “esperti” rilevanti per ogni pezzo di testo. I pesi sono quantizzati in FP8, un formato a 8 bit che dimezza la memoria necessaria rispetto al classico FP16. I file pesano circa 38 GB, che entrano comodi nelle GPU da 96 GB di VRAM che Hetzner ha nei suoi server.

Un dettaglio interessante: il modello ha un’opzione enable_thinking che, se non disattivata esplicitamente, fa spendere una quota sorprendente del budget di completamento in ragionamento invisibile prima di restituire la risposta. Funziona nei test ma non è documentata da Hetzner.

Quanto fidarsi.

Tanto poco, per ora, ed è giusto così. Hetzner lo dice chiaramente: niente fatturazione, niente SLA, niente garanzia di produzione. Un solo modello, un solo tipo di GPU documentato, nessuna informazione su come scala sotto carico. I numeri di latenza (153 ms al primo token, 224 token/s in output) vengono da un singolo test con un singolo client e dicono quasi nulla sul comportamento con molti utenti concorrenti.

L’hardware solleva anche una domanda aperta. Le GPU pubblicate nel catalogo Hetzner sono NVIDIA RTX 4000 SFF Ada (20 GB) e RTX PRO 6000 Blackwell Max-Q (96 GB). Sono GPU workstation, non le H100 o B200 che usano i provider specializzati. Bastano per modelli piccoli e medi, ma non per i frontier.

Cosa non concludere.

Questo non significa che Hetzner sostituirà OpenAI o Anthropic. Significa che il mercato dell’inferenza open-weight, oggi frammentato fra provider di nicchia, sta attirando operatori con scala e costi diversi. Se la tendenza si conferma, chi usa modelli aperti avrà più opzioni e prezzi più bassi. Chi invece dipende dai modelli frontier proprietari non nota alcun cambiamento immediato.