Sarah Friar, CFO di OpenAI, ha pubblicato un framework operativo per misurare il ritorno sugli investimenti AI in azienda. Non benchmark generici o percentuali di produttività dichiarate: quattro metriche concrete che si applicano ai flussi reali.

Le quattro metriche: lavoro utile completato (task portati a termine end-to-end), costo per task riuscito (dollari diviso output verificati), affidabilità (percentuale di output che passano il controllo qualità), e return on compute (valore prodotto per dollaro di inferenza). Ogni metrica è definita con esempi da data science team e sales team, casi documentati con workflow verificabili.

Perché ti riguarda. Se stai usando o stai per usare l’AI in un flusso aziendale, prima o poi qualcuno ti chiede: quanto costa, quanto produce, quanto è affidabile. Questo framework ti dà un modo di rispondere con numeri che reggono al controllore, non con impressioni. La logica vale anche fuori dall’enterprise: se hai automatizzato qualcosa con un agente, puoi contare quanti task ha completato senza intervento, quanto ti è costato, e quanti output hai dovuto buttare.

Dove guardare. OpenAI ha documentato l’applicazione del framework su due casi d’uso (data science e sales) nel post ufficiale, con i workflow passo per passo. Se stai valutando un investimento AI o devi giustificarne uno esistente, il materiale è pronto e comprensibile anche per chi non sviluppa.

Nel dettaglio

Il contesto.

Il problema è noto a chiunque abbia provato a far passare un budget AI in azienda: i benchmark pubblici non dicono nulla sui tuoi flussi, le percentuali di produttività dichiarate dai vendor sono opache, e il controllore vuole numeri che possa verificare. Fino a oggi, molte aziende misuravano l’AI con proxy generici (tempo risparmiato, costo licenze) o non la misuravano affatto, accettando il rischio di sprecare risorse su tool che sembrano utili ma non producono valore misurabile.

Sarah Friar ha scelto di affrontare il tema dall’interno: OpenAI vende prodotti AI, ma deve anche giustificare i propri investimenti interni. Il framework nasce da quella necessità e si applica a qualsiasi azienda che usi AI per automatizzare o potenziare flussi operativi.

Le quattro metriche, spiegate.

Lavoro utile completato conta i task portati a termine end-to-end senza intervento umano significativo. Non i token generati, non le sessioni aperte: quante email di risposta sono partite, quanti report sono stati prodotti, quante analisi sono state consegnate. È la metrica di output.

Costo per task riuscito divide il costo totale (inferenza, tool, infrastruttura) per il numero di task che hanno passato il controllo qualità. Un task fallito o buttato costa quanto uno riuscito in termini di compute, ma non produce valore: questa metrica lo rende visibile. Se il costo per task riuscito è troppo alto rispetto al valore del task, il flusso non regge.

Affidabilità misura la percentuale di output che superano il controllo qualità al primo tentativo. Un agente che completa 100 task ma ne sbaglia 30 ha affidabilità al 70%. Sotto una certa soglia (che dipende dal caso d’uso), il tempo di correzione manuale annulla il guadagno dell’automazione.

Return on compute rapporta il valore prodotto (misurato in dollari risparmiati, fatturato generato, o altra metrica di business) al costo di inferenza. È la metrica che connette l’AI al conto economico: un dollaro speso in compute deve produrre più di un dollaro di valore, altrimenti il flusso non scala.

Cosa dice OpenAI e cosa non dice.

Il post documenta l’applicazione del framework su due casi concreti: un data science team che usa ChatGPT Work per esplorare dataset e un sales team che lo usa per preparare call e follow-up. Per ogni caso, OpenAI elenca i task, mostra come si contano e come si misurano le quattro metriche. I workflow sono verificabili: chi lavora in quei ruoli riconosce i task e può replicare la misurazione sui propri flussi.

Ciò che il post non fornisce sono i numeri assoluti (quanti task, quale affidabilità, quale return on compute) per i due casi documentati. Non è un limite: quei numeri dipendono dal contesto aziendale e pubblicarli avrebbe solo alimentato confronti fuorvianti. Il valore sta nel metodo, non nei benchmark.

Le implicazioni pratiche.

Per chi costruisce o gestisce flussi AI in azienda, il framework offre un linguaggio condiviso con finance e operations. Invece di argomentare in astratto sull’utilità dell’AI, puoi mostrare costi, output e affidabilità misurati sul tuo flusso. Se il return on compute è negativo, hai i numeri per decidere se ottimizzare (modello più economico, prompt migliore, controllo qualità più stretto) o abbandonare.

Per chi valuta un investimento AI, le quattro metriche sono domande da fare al vendor: qual è il costo per task del vostro tool sul mio caso d’uso? Quale affidabilità posso aspettarmi? Come misuro il lavoro utile completato? Un vendor che non sa rispondere con numeri verificabili sta vendendo hype, non uno strumento.

Il framework vale anche fuori dall’enterprise. Se hai automatizzato un flusso personale con un agente (triage email, rassegna quotidiana, draft di documenti), puoi contare quanti task ha completato in una settimana, quanto ti è costato, e quanti output hai dovuto buttare o riscrivere. Quelle tre informazioni ti dicono se il flusso regge o se stai spendendo tempo e denaro per delegare qualcosa che faresti più in fretta a mano.

I limiti.

Il framework misura flussi esistenti, non esplora nuove possibilità. Se non sai ancora cosa automatizzare, le quattro metriche non ti aiutano a scegliere: ti servono esperimenti, non misurazioni. E il framework presuppone che tu abbia già un controllo qualità: senza quello, l’affidabilità e il costo per task riuscito non si possono calcolare.

Infine, il return on compute richiede di tradurre il valore prodotto in dollari. Per alcuni flussi (sales, customer support) è naturale. Per altri (ricerca, analisi interna) serve un accordo preventivo su cosa conta come valore, altrimenti la metrica diventa arbitraria.