Cactus Compute ha rilasciato Cactus Hybrid, un progetto open source che addestra Gemma 4 E2B a riconoscere quando sbaglia. Ogni risposta porta un punteggio di confidenza fra 0 e 1, restituito come dato strutturato, non estratto dal testo generato. Sopra una soglia risponde il modello locale. Sotto, la richiesta passa a un modello più grande nel cloud.

È il pezzo che manca all’infrastruttura agentic in produzione. Un modello locale da 2 miliardi di parametri è veloce e privato, ma non sai quando sta sbagliando. Con la calibrazione dell’incertezza integrata nei pesi, il routing diventa una decisione automatica su un punteggio verificabile.

Cactus Hybrid fa matchare Gemma 4 E2B con Gemini 3.1 Flash-Lite sui benchmark comuni, girando solo il 15-55% delle richieste al modello cloud. Il resto lo risolve in locale. I numeri variano per benchmark e quantizzazione, ma il pattern è chiaro: la maggior parte delle richieste non ha bisogno del modello frontier.

Come raccontavamo a proposito dell’economia degli swarm di Cursor, il mix di modelli conta più della potenza singola. Cactus Hybrid formalizza lo stesso principio dal basso: il modello piccolo sa quando passare la mano.

Per chi usa modelli open in produzione, la calibrazione dell’incertezza diventa il secondo criterio di scelta dopo la qualità pura. Il repo è su GitHub con i modelli su Hugging Face.

Nel dettaglio

Cos’era prima.

I modelli locali open-weight come Gemma, Llama o Qwen girano sul dispositivo o su un server privato, ma non sanno dirti quanto sono sicuri di ciò che dicono. Se chiedi «qual è la capitale della Francia?» e «qual è la formula del Bennett ratio?», il modello ti dà una risposta con lo stesso tono assertivo per entrambe. Nessun punteggio di confidenza, nessun segnale di incertezza.

Chi costruisce sistemi agentic in produzione finora ha dovuto stimare l’incertezza con trucchi esterni. Far generare più risposte e confrontarle, chiedere al modello di valutarsi da solo (una meta che i LLM fanno male), o usare un secondo modello come giudice. Tutte soluzioni che aggiungono latenza e costo senza garanzie.

Come funziona.

Cactus Hybrid inserisce sonde (probes) direttamente nel checkpoint del modello. Durante il post-training, il modello impara a dare la risposta e a stimare quanto è affidabile. Il punteggio di confidenza è un numero fra 0 e 1 restituito come dato strutturato, separato dal testo della risposta. Non si parseggia dal testo generato: è un output separato.

La soglia di handoff è configurabile. Il repo mostra un esempio leggibile: if confidence < 0.85: answer = ask_a_bigger_model(prompt). Sopra 0.85 risponde il modello locale, sotto passa al cloud. Il modello cloud nel rollout iniziale è Gemini 3.1 Flash-Lite.

I numeri.

I benchmark di Cactus mostrano la percentuale di handoff necessaria per matchare Flash-Lite. In FP16: ChartQA 15-20%, MMBench 30-35%, LibriSpeech 25-30%, GigaSpeech 30-35%, MMAU 30-35%. A 4-bit i valori crescono di 10-15 punti. MMLU-Pro richiede 45-55% di handoff in FP16, quasi il doppio degli altri benchmark.

La quantizzazione aumenta la percentuale di handoff necessaria, ma anche i modelli più compressi risolvono più della metà delle richieste in locale. Il trade-off è leggibile: risparmi memoria sul dispositivo, paghi con più chiamate al cloud.

Limiti.

Il progetto è giovane. Tre fork e 189 star su GitHub, un solo modello nel rollout iniziale. I benchmark sono forniti dal team Cactus stesso, non da una valutazione indipendente.

La confidenza calibrata è un problema noto e difficile. Un modello può essere «sicuro» e sbagliare, o incerto e avere ragione. La calibrazione vera si misura con l’ECE (Expected Calibration Error) su dataset di validazione, e il repo non riporta questo dato.

Chi vuole usarlo in produzione dovrebbe costruire il proprio banco di prova: un set di domande con risposta nota nel proprio dominio, confrontare il punteggio di confidenza con la correttezza effettiva, e verificare che la soglia scelta separi davvero le risposte giuste da quelle sbagliate. Il playbook per confrontare due modelli è un punto di partenza: stesso compito, stessi casi di prova, tabella dei risultati.