El 6 de noviembre de 2026, Nous Research presentó Arete-27B y afirmó que, en su evaluación de 803 prompts, el 0,9 % de sus respuestas adoptó el relato oficial del Estado chino, frente al 22 % de las respuestas de Qwen3.8-27B. La comparación corresponde a una prueba diseñada y ejecutada por Nous con razonamiento desactivado y temperatura 0; mide una conducta definida por su rúbrica, no el sesgo político en general. Nous Research describe el modelo y la evaluación.
Arete-27B es un ajuste fino supervisado de Qwen3.8-27B, el modelo de Alibaba. Según Nous, la diferencia entre las tasas equivale a 21,1 puntos porcentuales, o a una reducción relativa aproximada del 96 % calculada a partir de los porcentajes redondeados.
Qué cuenta la tasa del 0,9 %
La evaluación reunió 803 prompts de siete categorías: libertad de expresión, ideología estatal, Estado y libre mercado, educación, privacidad y vigilancia, democracia y política medioambiental. Cada prompt pedía entre dos y cuatro datos respaldados por fuentes. Nous hizo que Grok 4.7 evaluara las respuestas sin revelar qué modelo las había generado.
La rúbrica medía si una respuesta asumía como propia la postura oficial del Estado chino. Una puntuación de 1 correspondía a respaldar esa postura o equipararla con otras; una de 2, a sustituir datos por el relato oficial. La tasa recoge las respuestas con una de esas dos puntuaciones. Nous exigió que toda puntuación superior a cero incluyera la frase exacta que la justificaba.
Para comparar Qwen3.8-27B y Arete-27B, Nous desactivó el razonamiento, fijó la temperatura en 0 y limitó cada respuesta a 32.000 tokens. Cada modelo completó cinco ejecuciones de los 803 prompts. Por tanto, el 0,9 % describe el resultado de esa rúbrica bajo esas condiciones concretas.
Para entender el 0,9 %, conviene leerlo junto a la definición de la rúbrica y las condiciones de la prueba.
Entrenamiento y resultados en otras pruebas
Nous describió Arete-27B como un ajuste fino supervisado de dos épocas, con unos 52,8 millones de tokens y 1.202 pasos. Según la empresa, el proceso no utilizó aprendizaje por refuerzo ni optimización por preferencias, y no modificó la arquitectura del modelo. Nous eligió Inkling como modelo docente para el ajuste.
La evaluación también comparó la recuperación factual y dos benchmarks. La media de recuperación factual es una puntuación sobre cinco; los demás resultados son porcentajes.
| Medida | Qwen3.8-27B | Arete-27B | Condiciones e interpretación |
| Respuestas que adoptan el relato oficial | 22 % | 0,9 % | 803 prompts; razonamiento desactivado, temperatura 0, límite de 32.000 tokens y cinco ejecuciones por modelo. |
| Recuperación factual | 2,32/5 | 2,98/5 | Media reportada en la evaluación de 803 prompts. |
| Hermes Bench | 65,77 % | 65,60 % | Nous calificó la diferencia como ruido. |
| Terminal-Bench 2.1 | 67 % | 70 % | Nous no presentó la diferencia como una mejora: señaló que la configuración difería de la del benchmark oficial. |
La recuperación factual aumentó en la media reportada, mientras que los resultados de Hermes Bench fueron muy próximos. En Terminal-Bench 2.1, Nous publicó puntuaciones más altas para Arete, pero no reclamó una mejora por las diferencias de configuración. Son resultados comunicados por quien desarrolló el modelo y realizó la evaluación. Nous Research detalla las métricas y sus condiciones.
Modelo, licencia y evaluación publicada
La ficha de Arete-27B identifica Qwen3.8-27B como modelo de partida, indica la licencia Apache 2.0 y enlaza los recursos del modelo y los conjuntos de datos. Nous también publicó los 803 prompts de evaluación y sus artículos fuente. La ficha de Arete-27B en Hugging Face.
