Un artículo de la Universidad de Maryland muestra que la destilación en política (OPSD), una técnica para mejorar el razonamiento de modelos lingüísticos, oculta un problema estructural: en su forma estándar funciona solo con ingeniería a medida. Los investigadores identifican la causa en un parámetro implícito, β, fijado en 1 en la versión vanilla, y lo hacen controlable. De aquí el nombre, β-OPSD.

Por qué te atañe. Si entrenas o ajustas modelos con capacidades de razonamiento, la estabilidad del training es el cuello de botella práctico. Vanilla OPSD promete mejorar el razonamiento sin el costo del reinforcement learning, pero en la práctica requiere prueba y error para encontrar las configuraciones correctas, y a menudo el training diverge. β-OPSD transforma ese parámetro oculto en un control: bajas β y el modelo explora más, lo subes y permanece anclado al modelo de partida. El artículo muestra una ganancia promedio de +5,74 puntos en benchmarks de matemáticas con Qwen3 de 1,7 mil millones de parámetros, y mejoras de estabilidad en todo el rango hasta 8B.

La fortaleza es que evita el reinforcement learning costoso y de alta varianza. En lugar de ejecutar miles de episodios de RL, β-OPSD convierte una solución en forma cerrada en un objetivo de destilación a nivel de token, usando un crédito return-to-go para alinear la actualización del token individual con el resultado de la secuencia completa.

Los resultados se miden en benchmarks de matemáticas con modelos Qwen3 (1.7B, 4B, 8B), no en tareas agénticas generales. El código y los detalles están en la página del proyecto de la Universidad de Maryland.

En detalle

La destilación en política (OPSD) es una técnica en la que un modelo aprende de sus propias salidas: genera respuestas, evalúa cuáles son mejores, y se actualiza para producir más a menudo las buenas. La idea es atractiva porque no requiere un modelo maestro más grande del que copiar, ni requiere reinforcement learning clásico con sus recompensas dispersas y alta varianza.

El problema, hasta ahora, es que OPSD en su forma estándar (llamada “vanilla” en el artículo) es frágil. Para hacerla funcionar se necesita ingeniería pesada: selección manual de hiperparámetros, trucos de estabilización, y a menudo el training diverge de todas formas. El artículo identifica una razón estructural para esta fragilidad.

Los autores muestran que vanilla OPSD es en realidad un caso especial de una familia más amplia de objetivos de policy optimization, regularizados con una penalidad KL (Kullback-Leibler, una medida de cuánto divergen dos distribuciones de probabilidad). En esta familia, el parámetro β pondera la penalidad KL que mantiene el estudiante cerca de un modelo de referencia. En la versión vanilla, β está implícitamente fijado en 1, sin posibilidad de modificarlo.

El movimiento de β-OPSD es hacer ese parámetro controlable. Cuando β es alto, el modelo permanece cerca del punto de partida y cambia poco. Cuando β es bajo, explora más y puede mejorar más, pero riesga alejarse demasiado del comportamiento original. Es el mismo tipo de equilibrio que se encuentra en otros métodos de policy optimization, pero aquí aplicado al contexto de self-distillation.

La segunda contribución técnica es el uso del return-to-go credit assignment. En el training estándar, la recompensa llega al final de la secuencia, y todos los tokens reciben la misma señal, incluso los del principio que quizá poco tienen que ver con el resultado final. El return-to-go recalcula el crédito de cada token basado en la recompensa parcial desde ese punto en adelante, alineando mejor la actualización del token individual con la contribución real a la secuencia.

Los números: en benchmarks de razonamiento matemático, β-OPSD mejora el desempeño promedio respecto a vanilla OPSD en todo el rango de modelos Qwen3 probados (1.7B, 4B, 8B), con la ganancia más marcada, +5,74 puntos promedio, en el modelo de 1,7 mil millones de parámetros. El artículo también reporta mayor estabilidad de training, medida como menor varianza en el desempeño durante el proceso.

Los límites. Los resultados son en tareas de razonamiento matemático, no en tareas agénticas generales u otros dominios como código o lógica. Los modelos probados son Qwen3, una familia específica: no se sabe si el método se transfiere directamente a otras arquitecturas. El artículo no compara β-OPSD con técnicas de RL más avanzadas (como GRPO o PPO), solo con vanilla OPSD. El código está disponible en la página del proyecto, pero al momento de la publicación no hay scripts listos para replicar los resultados en otros datasets.

Para quienes siguen el hilo de la destilación como técnica de post-training, β-OPSD se inserta en el mismo espacio que SDR de AWS e ISO del UT Austin, donde el tema era afinar el modelo sin destruir lo que ya sabe. Aquí el ángulo es diferente: hacer ingenierizable una técnica que prometía mucho pero que en la práctica era confiable solo con mucho trabajo manual.