AWS documenta Self-Distilled Reasoning (SDR) para Amazon Nova 2, una técnica de fine-tuning que reutiliza las trazas de razonamiento del modelo base como supervisión para datasets sin trazas de razonamiento. El mismo día, un paper de la Universidad de Texas introduce ISO (Isospectral Optimization), un stack de optimización para reinforcement learning con rewards verificables que aprovecha la estructura matemática de los pesos: congela el espectro del modelo base y optimiza solo los frames singulares, logrando la misma precisión en 2.7 veces menos pasos (fuente: paper ISO, 21 de julio de 2026).

Por qué te afecta. Los dos trabajos convergen en una evolución del post-entrenamiento que ya veníamos viendo acercarse. Como contábamos ayer con TOPL y LLM-as-a-Coach, el post-entrenamiento está pasando de “califica toda la respuesta” a intervenciones granulares sobre partes específicas del modelo y el razonamiento.

SDR resuelve un problema práctico para quien hace fine-tuning: cuando entrenas con datos input-output sin trazas de razonamiento, el modelo pierde la capacidad de razonar. AWS mide el colapso de rendimiento matemático del 70% al 6% con fine-tuning vanilla, y la recuperación casi completa con SDR (fuente: AWS ML blog, 21 de julio de 2026). ISO demuestra que el post-entrenamiento con RL puede ser mucho más eficiente si aprovechas la estructura de los pesos en lugar de reescribirla completamente.

Para quien construye agentes sobre modelos personalizados, la dirección es clara: afinar un modelo en tu dominio sin destruir las competencias generales se está volviendo técnicamente viable, y con costos de compute más bajos.

En detalle

El problema que SDR resuelve.

Cuando haces Supervised Fine-Tuning (SFT) en un dataset con solo entrada y salida, sin trazas de razonamiento intermedias, ocurre algo contraintuitivo: el modelo deja de razonar incluso cuando le pides explícitamente que lo haga. AWS llama a este fenómeno reasoning suppression. La función de pérdida calcula el error en todos los tokens juntos, y como los datos no contienen pasos de razonamiento, el modelo aprende a saltárselos. Es una forma de shortcut learning: el modelo encuentra un atajo que funciona en el dataset de entrenamiento pero destruye una capacidad general.

La solución obvia sería insertar trazas de razonamiento en el dataset, pero generarlas con un modelo teacher fuerte es costoso. SDR utiliza en su lugar las cadenas de pensamiento del modelo base mismo, antes del fine-tuning. Es self-distillation: el modelo aprende de sí mismo. La ventaja es que no necesitas un teacher externo, ni anotación humana, ni interpolación post-hoc. AWS demuestra que esta técnica mantiene el rendimiento matemático en 68% (contra 70% del modelo base) mientras mejora el rendimiento en el dominio target 6,5% respecto al fine-tuning vanilla (fuente: AWS ML blog, 21 de julio de 2026).

Qué hace ISO.

El paper de la Universidad de Texas observa el post-entrenamiento desde otra ángulo: la estructura matemática de los pesos. Los pesos de un modelo pueden descomponerse en valores singulares (el “espectro”) y frames singulares (las direcciones). El descubrimiento principal es que el RLVR modifica los frames pero apenas toca el espectro. Los autores lo verifican en ambas direcciones: devuelve el espectro del modelo base a un checkpoint RL, y todas las métricas permanecen en nivel RL. Injerta el espectro RL en los frames pre-RL, y no cambia nada.

De aquí surgen dos herramientas. ISO-Merger combina las modificaciones de frames de múltiples modelos especializados (que comparten la misma base) en un único modelo, sin datos, rollouts o gradientes. ISO-Optimizer aplica un optimizador estándar (AdamW o Muon) solo a los frames, manteniendo el espectro congelado. En Qwen3-8B, ISO-AdamW alcanza la misma precisión que AdamW estándar en 100 pasos en lugar de 270, e ir más allá a 210 pasos (fuente: paper ISO, 21 de julio de 2026).

Dónde se encuentran los dos caminos.

SDR e ISO abordan el mismo problema desde ángulos opuestos: cómo afinar un modelo sin perder lo que ya sabe. SDR opera sobre los datos de entrenamiento, ISO sobre la optimización de pesos. Ambas reflejan un principio compartido: el post-entrenamiento debe intervenir con precisión quirúrgica, preservando la estructura del modelo base y modificando solo lo necesario.

Las limitaciones.

Los resultados de AWS se miden en tres benchmarks con Amazon Nova 2 Lite. La generalización a otros modelos y dominios es plausible pero no demostrada. ISO se prueba en modelos de 1.5B a 8B parámetros en tareas de razonamiento y coding: la aplicabilidad a escala frontier sigue abierta. Ambos trabajos son documentación técnica sólida, pero el valor en producción depende de tu caso específico.