Un consorcio de investigación alemán coordinado por KI Bundesverband ha lanzado Soofi S 30B-A3B, un modelo mixture-of-experts de código abierto (Apache 2.0) entrenado completamente en la nube de IA de Deutsche Telekom en Múnich. El modelo contiene 31,6 mil millones de parámetros pero activa solo 3,2 mil millones por token, manteniendo los costos de inferencia cerca de un modelo de 3B. La arquitectura híbrida Mamba-Transformer mantiene la caché de inferencia casi constante incluso en contextos largos (hasta 256k tokens), con una ventaja decisiva en throughput y concurrencia respecto a los modelos densos.

Por qué te importa. Soofi S es el primer modelo abierto diseñado con una proporción deliberadamente alta de alemán en la mezcla de entrenamiento (del 7,2% al 15,3% en fases posteriores, frente al ~5% de los modelos mainstream). En benchmarks agregados alemán-inglés supera a todos los modelos completamente abiertos, incluyendo OLMo 3 32B y Apertus 70B, y domina cada benchmark alemán en la comparación directa. Es un caso práctico de soberanía digital: una alternativa europea de código abierto a los modelos de EE.UU./China, entrenada en infraestructura europea con datos europeos, lista para auto-hosting. Si trabajas con contenidos en alemán o buscas un modelo abierto bilingüe competitivo, es la primera opción que debes probar.

Si quieres probarlo. El modelo está en Hugging Face como soofi-team/soofi-s-30b-a3b. El informe completo de preentrenamiento es arXiv 2607.09424.

En detalle

El contexto

La mayoría de los modelos de código abierto se entrenan con datos casi exclusivamente en inglés: en mezclas de entrenamiento de referencia como la de Nvidia Nemotron, todos los idiomas no ingleses juntos pesan aproximadamente el 5%. El resultado es que los modelos abiertos competitivos en inglés se desmoronan en otros idiomas, incluyendo el alemán, que es la lengua materna de 100 millones de personas y la más hablada en la UE. Los modelos cerrados más potentes (GPT, Claude, Gemini) cubren el alemán, pero no están disponibles para auto-hosting y dependen de centros de datos estadounidenses.

Qué cambia

Soofi S es el primer modelo abierto diseñado para ser bilingüe desde el preentrenamiento, con una proporción creciente de alemán que llega al 15,3% en la segunda fase (frente al 5% típico). El entrenamiento se distribuye en aproximadamente 27 billones de tokens en tres fases: 20T de mezcla amplia (web, código, matemáticas, dominios), 6T de fuentes de mayor calidad para refinar patrones, y una tercera fase breve para extender el contexto a 1M tokens. El alemán proviene de HPLT, el corpus Commons, FinePDFs, FineWiki, el corpus comercial Genios (193M artículos de 916 publicaciones alemanas) y textos traducidos mecánicamente o generados.

La arquitectura es la de Nvidia Nemotron 3 Nano sin modificaciones: mezcla de expertos híbrida Mamba-2 + attention, 31,6B parámetros totales, 3,2B activos por token. Solo 6 de los 52 layers mantienen una caché KV que crece con el contexto; el resto usa estados de dimensión fija. La ventaja práctica: a 40k tokens con 32 solicitudes paralelas, Soofi S genera aproximadamente ocho veces más tokens por segundo por GPU comparado con modelos densos de 14–24B, y el throughput se mantiene plano de 4k a 256k tokens mientras los modelos densos colapsan. El único modelo con comportamiento similar en la prueba es Qwen3.5 35B-A3B, también híbrido.

Los números

En benchmarks agregados inglés-alemán, Soofi S supera a todos los modelos completamente abiertos, incluyendo OLMo 3 32B (Allen Institute) y Apertus 70B (ETH/EPFL). En cada benchmark alemán en la comparación, Soofi S ocupa el primer lugar, a veces con márgenes de dos dígitos. En código: 73,8% HumanEval, 70,2% MBPP, 84,2% MBPP-DE (variante alemana), los mejores resultados entre modelos abiertos. En INCLUDE-DE (conocimiento regional alemán) empata con Qwen3.5 35B-A3B a 61,2 puntos. Respecto al baseline Nemotron, la receta de datos alemana gana 15,1 puntos en idioma y 9,6 en GPQA-Diamond (ciencia), sin perder en inglés. El punto débil es la matemática de competición alemana (56 puntos en Minerva MATH-DE), donde sigue por debajo de los líderes.

Las implicaciones

Es el primer caso de modelo de código abierto entrenado completamente en nube europea (Deutsche Telekom, Múnich) con datos ponderados para un idioma no inglés, y que demuestra rendimiento competitivo bilingüe. La licencia Apache lo hace utilizable en producción, incluso comercialmente, sin depender de APIs estadounidenses o chinas. Para quien trabaja con contenidos en alemán o quiere un modelo abierto bilingüe auto-hosteable, es la primera opción a evaluar. Para quien construye servicios sobre datos europeos, es una señal de que la soberanía digital en IA puede funcionar en el plano técnico, no solo político.

Las limitaciones

La comparación es con modelos de código abierto: los modelos cerrados top (GPT-5.6, Claude Opus 4.8) siguen adelante en términos absolutos. Soofi S tiene 31,6B parámetros totales pero activa solo 3,2B por token: el comportamiento está más cerca a un modelo de 3B que a uno de 30B en tareas que requieren toda la capacidad en paralelo. El informe no cubre evaluaciones en seguridad, sesgo o robustez contra inyección de prompts. La matemática de competición en alemán sigue siendo un punto débil conocido.