Dos papers de HuggingFace Daily Papers convergen en un punto operativo: evaluar modelos vision-language quedándose en el texto no funciona. Uno le pide al modelo que dibuje la respuesta, el otro mide la descomposición del movimiento en vídeos.

Qué pasó. “Show, Don’t Tell” presenta ProVisE, un framework que hace que los modelos de generación de imágenes respondan directamente en píxeles a preguntas de razonamiento espacial, luego convierte las imágenes en las predicciones estructuradas que requieren los benchmarks existentes. En 470 muestras y 14 subtareas, los sistemas que responden visualmente resuelven el 37% de los casos espaciales que falla el modelo textual de referencia. El segundo paper, de Lukas Knobel con Andrew Zisserman, propone un método autosupervisado para separar el movimiento de la cámara del de los objetos en vídeos, dos dinámicas hasta ahora entrelazadas en los fotogramas y difíciles de anotar manualmente.

Por qué te importa. Si usas agentes que procesan material visual (documentos escaneados, fotos de producto, vídeos de inspección), la puntuación en los benchmarks puede ocultar un vacío: el modelo sabe describir con palabras lo que ve, pero no sabe posicionarlo en el espacio. Cuando la tarea requiere indicar dónde está un defecto o trazar una ruta, la interfaz textual es el cuello de botella. Los dos papers cambian la pregunta de “¿el modelo sabe responder?” a “¿el modelo sabe mostrar?”.

Si quieres probar. ProVisE es público y agnóstico respecto al benchmark: el repo y la project page son el punto de partida para ver cómo pasar del output textual al visual en tus propios casos espaciales.

En detalle

Los benchmarks para modelos vision-language funcionan así: le muestras una imagen al modelo y le haces una pregunta. La respuesta es texto. Si la pregunta es “¿cuántos objetos rojos hay?”, el texto es suficiente. Si la pregunta es “dibuja la ruta desde la puerta hasta la mesa”, forzar al modelo a traducir una posición espacial en coordenadas numéricas o en palabras es una interfaz forzada.

El problema de la interfaz. “Show, Don’t Tell” parte de aquí. Mucha información espacial es natural mostrarla (señalar un punto, trazar un área, dibujar una ruta) e innaturaltradúcirla en escritura (coordenadas decimales, descripciones verbales aproximadas). El paper llama a este fenómeno answer-interface mismatch: el modelo podría saber dónde está algo, pero el canal textual lo obliga a una traducción que introduce error.

ProVisE lo resuelve así: deja que sea un modelo de generación de imágenes quien responda dibujando, luego convierte el resultado visual al formato estructurado que el benchmark requiere. Si el benchmark quiere las coordenadas de un punto, ProVisE las extrae del píxel que el modelo coloreó. Si quiere un área, la obtiene de la región dibujada.

El resultado principal, reportado en el abstract del paper (HuggingFace, 24 de julio de 2026): en 470 muestras en 14 subtareas de SpatialGen-Bench y seis benchmarks externos, 31 sistemas evaluados. Los dos canales, visual y textual, son complementarios. El visual gana donde el estado espacial se expresa directamente en píxeles. El textual sigue siendo más fuerte en razonamiento composicional, donde tienes que combinar múltiples reglas lógicas. GPT Image 2 resuelve el 37% de los casos espaciales que falla GPT-5.4, el modelo textual.

El segundo paper: separar lo que se mueve. El trabajo de Knobel, Zisserman y Asano aborda un problema distinto pero conectado. Cuando ves un vídeo, cada fotograma cambia respecto al anterior. Ese cambio tiene dos causas: la cámara se movió (te desplazaste con el teléfono) u objetos se movieron (la persona entró en el encuadre). En vídeos naturales las dos causas están entrelazadas: un objeto que parece desplazarse a la derecha podría estar quieto mientras la cámara gira a la izquierda.

Separar los dos factores sirve para construir representaciones del movimiento robustas, donde la dinámica de los objetos está desacoplada del efecto de la cámara. Hasta ahora la separación requería supervisión manual: alguien tenía que etiquetar qué era cámara y qué era objeto. El paper propone un método autosupervisado que aprende la descomposición directamente de los vídeos, sin etiquetas.

Qué cambia para quien construye. Si estás montando un agente que procesa material visual, el ángulo operativo es claro: el canal de output de tu sistema debe coincidir con el tipo de respuesta que necesitas. Un modelo que sabe describir con palabras dónde está un defecto en una imagen no es lo mismo que uno que sabe rodearlo. Un modelo que reconoce “hay movimiento” en un vídeo no es lo mismo que uno que sabe decir “el objeto se mueve, la cámara está quieta”.

Los límites. ProVisE evalúa 31 sistemas en 470 muestras: es un banco de prueba, no una adopción masiva. La complementariedad entre visual y textual significa que ninguno de los dos canales domina: necesitas saber cuál usar para cada subtarea. El paper sobre descomposición de vídeos es un resultado de representación, no una herramienta lista: demuestra que la separación es aprendible, pero no la lanza como módulo insertable en una pipeline existente.

Para construir tu propio banco de prueba en lugar de confiar en benchmarks públicos, la guía sobre comparación directa entre modelos y la lección sobre cómo evaluar tu agente sin benchmarks parten del mismo principio: mide tu caso, no la media.