La pregunta

Le pediste a un modelo que resuma un contrato de 40 páginas. El resumen que te devuelve solo dice cosas verdaderas. El problema es que omitió la cláusula de rescisión automática, el límite de responsabilidad y tres fechas clave. Todo lo que escribió es correcto. Lo que dejó fuera te cuesta un cliente.

La pregunta que responde este paper es simple: ¿cómo mides si una respuesta generada contiene todos los hechos que debería contener, además de verificar que los que menciona sean correctos?

Por qué te importa

Si usas IA para resumir, analizar o sintetizar documentos, el riesgo que mejor conoces es la alucinación: el modelo que inventa un hecho falso. Las herramientas de evaluación que circulan hoy están construidas sobre esto. Descomponen el texto en afirmaciones atómicas, buscan cada una en las fuentes, verifican si es válida. Funciona bien para detectar quién dice lo falso.

Funciona mal para detectar quién omite lo verdadero.

La completitud factual es el problema silencioso del trabajo diario con IA. Un resumen que omite el dato clave de un balance, un análisis que no menciona el riesgo principal, un informe que deja fuera tres de los siete puntos del orden del día: ninguno de estos contiene un error. Todos contienen un vacío. Y los vacíos son más difíciles de detectar que las invenciones, porque no hay una frase que marcar como falsa. Hay una ausencia.

Este paper de Meta Research, publicado en julio de 2026, construye un benchmark llamado GAMUT (Grounded Assessment of Multimodal Factuality) diseñado para medir esa mitad faltante. Para quienes construyen sistemas de evaluación o quieren entender cuánto confiar en una síntesis generada, es un cambio de perspectiva concreto.

Qué dice el paper

La observación inicial es que los hechos que componen una respuesta completa rara vez forman una lista plana. Tienen estructura: algunos son más importantes que otros, algunos forman conjuntos abiertos donde cuenta la cobertura total, algunos van en orden (los pasos de un proceso), algunos dependen de otros (una relación entre dos hechos que una lista de sí/no no captura).

Los autores proponen una meta-rúbrica de dos niveles. El primer nivel es una estructura que organiza los contenidos requeridos para una respuesta completa: jerarquía, pesos de importancia, relaciones entre hechos. El segundo nivel es una lista plana de elementos binarios (sí/no) generada automáticamente a partir de la estructura del primer nivel. Un juez LLM luego evalúa cada elemento de la lista.

La idea es que la estructura compleja sirve para pensar y definir qué importa, pero la evaluación automática funciona mejor con preguntas simples y binarias. La meta-rúbrica actúa como puente: captura la riqueza de la estructura y la traduce en algo que un modelo puede evaluar de forma confiable.

Para construir el benchmark, los autores recopilaron 1.813 preguntas basadas en imágenes reales de dispositivos portátiles en 10 dominios diferentes. Cada pregunta va acompañada de una rúbrica con evidencia, verificada por anotadores humanos expertos. El framework es independiente de la modalidad, así que también publicaron una variante solo texto.

Probaron 14 modelos entre frontier y open-weight. El mejor resultado viene de Gemini 3.1 Pro con el 58,7%. El paper describe el benchmark como genuinamente difícil, altamente discriminativo (separa bien los modelos buenos de los menos buenos) y robusto respecto a la elección del juez (cambiar el modelo que evalúa no altera significativamente la clasificación).

El número a retener es ese 58,7%. El mejor modelo, en este benchmark, cubre poco más de la mitad de los hechos que una respuesta completa debería contener. Dice dos cosas: el benchmark es difícil, y la completitud es un problema abierto.

Cuánto confiar

El paper es honesto sobre las limitaciones de su enfoque, y menciono algunas aquí porque importan para quienes leen.

Primero: la construcción de las rúbricas requiere anotación humana experta. No es un proceso automático. Para 1.813 preguntas se necesita trabajo humano calificado, lo que significa que escalar este enfoque a nuevos dominios cuesta tiempo y personas. El paper no oculta este costo.

Segundo: el benchmark se ancla en imágenes de dispositivos portátiles. La variante solo texto existe, pero la validación principal es en material multimodal. Si tu caso de uso es resumir contratos o informes financieros, la transferibilidad de los resultados a tu dominio no está garantizada por el paper. Debe verificarse.

Tercero: el 58,7% como puntuación máxima debe leerse con cuidado. Los modelos se evalúan en respuestas a preguntas abiertas donde la completitud requiere enumerar conjuntos de hechos, no elegir entre opciones. Es una medida de cuánto un modelo logra cubrir por sí solo un espacio de información definido por una rúbrica. Un resumen al 58% de completitud puede ser aún suficiente si los hechos omitidos son los menos importantes. El benchmark mide la cobertura bruta, no la cobertura ponderada por utilidad.

Cuarto: trabajo desde el abstract y la página del paper, no del texto completo. Los detalles metodológicos sobre la construcción de la meta-rúbrica, la calidad de la anotación y la varianza entre jueces están en el paper completo.

Qué hacer al respecto

Para quienes usan IA para sintetizar y analizar, la implicación práctica es directa: deja de evaluar solo precisión. Cuando verificas una síntesis generada, no busques solo frases falsas. Busca vacíos. El playbook Documentos largos sin cortes silenciosos trabaja exactamente en esto: hacer leer un documento largo en bloques con citas ancladas e índice de cobertura, para notar qué fue saltado. El paper da el marco académico a un problema que quienes usan IA encuentran cada día.

Para quienes construyen sistemas de evaluación, la meta-rúbrica de dos niveles es una idea aplicable incluso sin el benchmark. Puedes definir la estructura de los contenidos que una respuesta completa debería tener (el primer nivel), traducirla en una lista de elementos binarios (el segundo nivel) y hacer que un modelo evalúe cada elemento. Es un patrón que puedes reconstruir con tus datos y tus rúbricas, sin necesidad de GAMUT.

Qué no concluir: el 58,7% no significa que los modelos sean inútiles para tareas de síntesis. Significa que si le pides a un modelo cubrir por sí solo todo el espacio de hechos relevantes en un tema abierto, le falta aproximadamente la mitad. Si le das una estructura (un índice, una lista de puntos a cubrir, una rúbrica) el resultado cambia, porque ya no es el modelo quien decide qué es completo. Eres tú.

La lectura de riesgo más probable es usar este número como argumento para no usar IA en tareas de síntesis. El número dice algo diferente: que se necesita un control de completitud, y que ese control es viable.

Dónde profundizar

• El playbook Documentos largos sin cortes silenciosos es el correlato operativo: cómo notar qué se salta un modelo cuando lee un documento largo.
• La lección del curso Evaluar sin benchmark y el paper Evaluar un agente sin benchmark construyen el marco para pensar la evaluación en tus casos, no en promedios.
• El paper LLM como juez explica cómo funciona y dónde tuerce el voto de un modelo que evalúa otro, la base sobre la que GAMUT se apoya para la fase de puntuación.