Sarah Friar, CFO de OpenAI, ha publicado un marco operativo para medir el retorno de la inversión en IA dentro de la empresa. Sin benchmarks genéricos ni porcentajes de productividad declarados: cuatro métricas concretas que se aplican a los flujos reales.

Las cuatro métricas: trabajo útil completado (tareas llevadas a término de extremo a extremo), costo por tarea exitosa (dólares dividido por outputs verificados), fiabilidad (porcentaje de outputs que pasan el control de calidad), y retorno sobre compute (valor producido por dólar de inferencia). Cada métrica está definida con ejemplos de equipos de data science y ventas, casos documentados con workflows verificables.

Por qué te afecta. Si estás usando o vas a usar IA en un flujo empresarial, tarde o temprano alguien te pregunta: cuánto cuesta, cuánto produce, qué tan fiable es. Este marco te da una forma de responder con números que resisten la auditoría, no con impresiones. La lógica aplica también fuera de la empresa: si has automatizado algo con un agente, puedes contar cuántas tareas completó sin intervención, cuánto te costó, y cuántos outputs tuviste que descartar.

Dónde mirar. OpenAI documentó la aplicación del marco en dos casos de uso (data science y ventas) en el post oficial, con los workflows paso a paso. Si estás evaluando una inversión en IA o necesitas justificar una existente, el material está listo y es comprensible incluso para quienes no desarrollan.

En detalle

El contexto.

El problema es conocido por cualquiera que haya intentado pasar un presupuesto de IA en la empresa: los benchmarks públicos no dicen nada sobre tus flujos, los porcentajes de productividad declarados por los vendors son opacos, y el auditor quiere números que pueda verificar. Hasta ahora, muchas empresas medían la IA con proxies genéricos (tiempo ahorrado, costo de licencias) o no la medían en absoluto, aceptando el riesgo de desperdiciar recursos en herramientas que parecen útiles pero no producen valor medible.

Sarah Friar optó por abordar el tema desde adentro: OpenAI vende productos de IA, pero también debe justificar sus propias inversiones internas. El marco nace de esa necesidad y se aplica a cualquier empresa que use IA para automatizar o potenciar flujos operativos.

Las cuatro métricas, explicadas.

Trabajo útil completado cuenta las tareas llevadas a término de extremo a extremo sin intervención humana significativa. No los tokens generados, no las sesiones abiertas: cuántos emails de respuesta se enviaron, cuántos reportes se produjeron, cuántos análisis se entregaron. Es la métrica de output.

Costo por tarea exitosa divide el costo total (inferencia, herramientas, infraestructura) entre el número de tareas que pasaron el control de calidad. Una tarea fallida o descartada cuesta lo mismo que una exitosa en términos de compute, pero no produce valor: esta métrica lo hace visible. Si el costo por tarea exitosa es demasiado alto respecto al valor de la tarea, el flujo no es viable.

Fiabilidad mide el porcentaje de outputs que superan el control de calidad al primer intento. Un agente que completa 100 tareas pero falla en 30 tiene fiabilidad del 70%. Por debajo de cierto umbral (que depende del caso de uso), el tiempo de corrección manual anula la ganancia de la automatización.

Retorno sobre compute relaciona el valor producido (medido en dólares ahorrados, ingresos generados, u otra métrica de negocio) con el costo de inferencia. Es la métrica que conecta la IA con el estado de resultados: un dólar gastado en compute debe producir más de un dólar de valor, de lo contrario el flujo no escala.

Qué dice OpenAI y qué no dice.

El post documenta la aplicación del marco en dos casos concretos: un equipo de data science que usa ChatGPT Work para explorar datasets y un equipo de ventas que lo usa para preparar calls y follow-ups. Para cada caso, OpenAI enumera las tareas, muestra cómo se cuentan y cómo se miden las cuatro métricas. Los workflows son verificables: quien trabaja en esos roles reconoce las tareas y puede replicar la medición en sus propios flujos.

Lo que el post no proporciona son los números absolutos (cuántas tareas, qué fiabilidad, qué retorno sobre compute) para los dos casos documentados. No es una limitación: esos números dependen del contexto empresarial y publicarlos solo habría alimentado comparaciones engañosas. El valor está en el método, no en los benchmarks.

Las implicaciones prácticas.

Para quienes construyen o gestionan flujos de IA en la empresa, el marco ofrece un lenguaje compartido con finanzas y operaciones. En lugar de argumentar en abstracto sobre la utilidad de la IA, puedes mostrar costos, outputs y fiabilidad medidos en tu flujo. Si el retorno sobre compute es negativo, tienes los números para decidir si optimizar (modelo más económico, mejor prompt, control de calidad más estricto) o abandonar.

Para quienes evalúan una inversión en IA, las cuatro métricas son preguntas que hacer al vendor: ¿cuál es el costo por tarea de tu herramienta en mi caso de uso? ¿Qué fiabilidad puedo esperar? ¿Cómo mido el trabajo útil completado? Un vendor que no puede responder con números verificables está vendiendo hype, no una herramienta.

El marco también aplica fuera de la empresa. Si automatizaste un flujo personal con un agente (triaje de email, resumen diario, borrador de documentos), puedes contar cuántas tareas completó en una semana, cuánto te costó, y cuántos outputs tuviste que descartar o reescribir. Esa información te dice si el flujo es viable o si estás gastando tiempo y dinero en delegar algo que harías más rápido a mano.

Los límites.

El marco mide flujos existentes, no explora nuevas posibilidades. Si aún no sabes qué automatizar, las cuatro métricas no te ayudan a elegir: necesitas experimentos, no mediciones. Y el marco presupone que ya tienes un control de calidad: sin eso, la fiabilidad y el costo por tarea exitosa no se pueden calcular.

Finalmente, el retorno sobre compute requiere traducir el valor producido en dólares. Para algunos flujos (ventas, servicio al cliente) es natural. Para otros (investigación, análisis interno) requiere un acuerdo previo sobre qué cuenta como valor, de lo contrario la métrica se vuelve arbitraria.