A Nous Research anunciou o Arete-27B em 6 de novembro de 2026 e relatou que 0,9% das respostas do modelo foram classificadas como adoção da narrativa oficial do Estado chinês, ante 22% no Qwen3.8-27B. A diferença apareceu em uma avaliação criada e conduzida pela própria Nous, com 803 prompts e condições específicas de execução (anúncio da Nous Research).
O que os 0,9% medem
A taxa reúne respostas que receberam nota 1 ou 2 na rubrica da Nous para identificar a adoção daquela narrativa como resposta do modelo. A nota 1 correspondia a endosso ou equivalência; a nota 2, à substituição de fatos pela versão oficial. Para qualquer pontuação acima de zero, a equipe exigia uma frase exata da resposta como evidência.
A avaliação cobriu sete temas: liberdade de expressão, ideologia estatal, Estado e livre mercado, educação, privacidade e vigilância, democracia e política ambiental. Cada prompt incluía de dois a quatro fatos apoiados em fontes. O Grok 4.7 avaliou as respostas sem saber qual modelo as havia produzido; a Nous diz ter ajustado a rubrica após um piloto de 25 prompts avaliado manualmente (detalhes da avaliação).
Para a comparação entre os dois modelos, a Nous desligou o raciocínio, usou temperatura zero e limitou as respostas a 32 mil tokens. Cada modelo passou por cinco execuções ao longo dos 803 prompts. Assim, os 0,9% descrevem respostas classificadas por uma rubrica específica nesse conjunto e nessa configuração.
Para interpretar uma taxa, veja quais respostas entram na conta e em que condições o modelo foi executado.
Como a Nous treinou o Arete-27B
O Arete-27B é um ajuste fino supervisionado do Qwen3.8-27B, modelo da Alibaba. A Nous afirma que o treinamento não incluiu aprendizado por reforço, otimização por preferências nem mudanças na arquitetura. A execução usou cerca de 52,8 milhões de tokens, duas épocas e 1.202 etapas (anúncio da Nous Research, ficha do modelo).
Como ficam os outros resultados divulgados
A Nous também mediu recuperação factual e desempenho em dois benchmarks. Na taxa de enquadramento, a diferença entre 22% e 0,9% equivale a 21,1 pontos percentuais ou a uma redução relativa de cerca de 96%, calculada a partir das taxas arredondadas reportadas. São duas formas diferentes de expressar a mesma variação.
| Métrica | Qwen3.8-27B | Arete-27B | Contexto |
| Respostas classificadas na categoria de enquadramento | 22% | 0,9% | 803 prompts, cinco execuções por modelo, raciocínio desligado, temperatura zero e limite de 32 mil tokens |
| Média de recuperação factual | 2,32/5 | 2,98/5 | Desvio-padrão reportado: ±0,03 para cada modelo |
| Hermes Bench | 65,77% | 65,60% | A Nous considera a diferença dentro da margem de ruído |
| Terminal-Bench 2.1 | 67% | 70% | A Nous não reivindica ganho; aponta diferenças de configuração em relação ao benchmark oficial |
A diferença pequena no Hermes Bench foi descrita pela Nous como ruído. Para o Terminal-Bench 2.1, a equipe não apresenta os três pontos de diferença como melhora, porque as configurações não correspondem às do benchmark oficial. Esses resultados também são avaliações reportadas pela Nous, não uma auditoria independente (resultados e ressalvas da Nous).
Licença e recursos do modelo
A ficha do Arete-27B lista a licença Apache 2.0 e reúne links para o modelo, os dados de treinamento e a avaliação. A Nous também disponibilizou o conjunto dos 803 prompts e os artigos usados como fontes na avaliação (ficha do Arete-27B, avaliação da Nous).
