Matt Lenhard ha pubblicato un’indagine su un mercato parallelo che rivende token delle API dei grandi modelli a prezzi stracciati. I rivenditori, attivi soprattutto in Cina, usano software proxy open source come one-api e il suo fork new-api per accumulare chiavi API da fonti multiple: trial gratuiti sfruttati fino all’osso, bot di supporto lasciati esposti, carte di credito rubate, chargeback mirati. I compratori cercano token economici, aggirano restrizioni geografiche e, in alcuni casi, raccolgono output per addestrare modelli propri tramite distillazione.

Perché ti riguarda. Se costruisci qualcosa che espone un’API di un LLM al pubblico, questo mercato è un incentivo diretto a trovare il tuo endpoint e sfruttarlo. L’esistenza di un ecosistema che monetizza l’accesso non autorizzato rende più prudente ogni esposizione. Il problema concreto è che molti provider non offrono tetti di spesa rigidi e configurabili: vorresti che la tua app si fermasse a un dollaro al giorno, e invece scopri che non puoi bloccarla con precisione. Un consumo anomalo nella dashboard può essere il segnale che qualcuno ha trovato un varco.

Se vuoi provarci. Guarda il dashboard del tuo provider: controlla i limiti di spesa configurabili sulle chiavi attive, ed elimina quelle che non usi più.

Nel dettaglio

Il mercato del relay non è una novità isolata. Esiste da quando i token dei LLM hanno un prezzo, ma l’indagine di Lenhard è la prima a disegnarne la catena di valore con nomi e strumenti concreti.

Come funziona la catena. I rivenditori raccolgono chiavi API da più fonti e le caricano in un proxy. Il software principale è one-api, un progetto open source legittimo pensato per bilanciare richieste su più credenziali. Il suo fork più attivo, new-api, aggiunge funzionalità. Entrambi sono strumenti corretti di per sé: il problema è l’origine delle chiavi che ci finiscono dentro.

Le fonti delle chiavi, secondo Lenhard, si dividono in tre categorie. I trial gratuiti dei provider, creati e consumati in massa con account temporanei. I bot di supporto aziendali lasciati esposti senza autenticazione adeguata, che qualcuno scopre e usa come porta di accesso gratuita. E poi le frodi finanziarie: carte rubate per aprire conti a pagamento, e chargeback organizzati per annullare i pagamenti dopo aver consumato i token.

Chi compra e perché. I compratori sono per lo più in Cina e cercano tre cose. Token a basso costo per i propri progetti. Accesso a modelli con restrizioni geografiche, come i provider americani che bloccano IP cinesi. E dati di output per la distillazione, il processo di addestrare un modello più piccolo sulle risposte di uno più grande, che i lab frontier vietano nei loro termini di servizio.

Il punto debole dell’infrastruttura. Il problema pratico per chi costruisce è che i provider principali non offrono tetti di spesa configurabili con granularità sufficiente. Se un agente o un’app viene compromessa, il danno economico può crescere prima che te ne accorga. La richiesta è semplice: un interruttore che ferma la spesa a una soglia che tu hai deciso. Per chi sta per mandare un agente in produzione, la lezione del nostro corso su costi, latenza e sicurezza parte da qui: riconoscere i rischi prima di esporre qualcosa al pubblico.

Cosa si sa e cosa resta aperto. L’indagine si basa su un thread di forum cinese come fonte principale, e il fenomeno sembra concentrato nel mercato asiatico. Non ci sono stime quantitative sulla dimensione del mercato, né dati verificabili sul volume di token frodati. Quello che si sa è che gli strumenti esistono, sono open source, e l’incentivo economico a usarli è reale. La catena di fiducia nell’infrastruttura AI si era già incrinata con l’incidente di valutazione fra OpenAI e Hugging Face, ma il relay market mostra un livello di organizzazione industriale diverso: non un breach isolato, ma un ecosistema che cerca attivamente endpoint sfruttabili.