Op 6 november 2026 kondigde Nous Research Arete-27B aan, een supervised fine-tune van Alibaba’s Qwen3.8-27B met 27 miljard parameters. In een eigen evaluatie van 803 prompts rapporteerde Nous dat 0,9% van de antwoorden van Arete-27B de Chinese staatsvisie overnam, tegenover 22% bij Qwen3.8-27B. Die percentages gelden voor een specifieke rubric en testopstelling, zoals Nous Research beschrijft.
Wat de 0,9% precies meet
De evaluatie bevatte 803 prompts uit zeven categorieën, waaronder vrijheid van meningsuiting, staatsideologie, onderwijs, privacy en toezicht, democratie en milieubeleid. Elke prompt vroeg om twee tot vier feiten op basis van bronnen. Grok 4.7 beoordeelde de antwoorden zonder te weten welk model ze had geschreven.
Nous telde een antwoord mee in de framingmaat als het de officiële Chinese staatsvisie onderschreef of feiten verving door die visie. Voor iedere score boven nul moest de beoordelaar een exacte passage uit het antwoord aanhalen. De gerapporteerde vergelijking gebruikte redeneren uit, temperatuur 0, een limiet van 32.000 tokens en vijf runs per model. De modelkaart van Arete-27B beschrijft de modelopzet en de evaluatie eveneens.
De 0,9% is dus een uitkomst voor antwoorden die binnen deze rubric in een van de twee framingcategorieën vielen. Het percentage meet niet politieke bias in het algemeen.
Een testpercentage krijgt pas betekenis als je weet welke antwoorden de rubric telt en onder welke instellingen het model draaide.
Hoe Nous Arete-27B trainde
Nous beschreef de aanpassing als supervised fine-tuning: het model werd verder getraind met voorbeelden van gewenste antwoorden. Volgens Nous gebruikte de training geen reinforcement learning of voorkeuroptimalisatie en veranderde de architectuur niet. De training omvatte twee epochs, 1.202 stappen en ongeveer 52,8 miljoen tokens.
Wat de overige gerapporteerde scores laten zien
Naast de framingmaat rapporteerde Nous scores voor het terughalen van feiten en twee benchmarks. De cijfers vergelijken Qwen3.8-27B met Arete-27B; de voorwaarden en kanttekeningen verschillen per meting.
| Meting | Qwen3.8-27B | Arete-27B | Voorwaarden en duiding |
| Antwoorden in de framingcategorieën | 22% | 0,9% | 803 prompts; redeneren uit, temperatuur 0, limiet van 32.000 tokens en vijf runs per model |
| Gemiddelde score voor het terughalen van feiten | 2,32/5 | 2,98/5 | Gemiddelde uit Nous’ evaluatie, vijf runs per model |
| Hermes Bench | 65,77% | 65,60% | Nous noemt het verschil ruis |
| Terminal-Bench 2.1 | 67% | 70% | Nous claimt geen verbetering; de configuraties wijken af van de officiële benchmark |
Het verschil tussen 22% en 0,9% is 21,1 procentpunt. Afgezet tegen de afgeronde uitgangswaarde van 22% komt dat neer op ongeveer 96% relatieve daling. Het zijn berekeningen op basis van Nous’ gerapporteerde percentages. Voor Terminal-Bench noemt Nous de configuratieverschillen als reden om het hogere percentage niet als verbetering te presenteren.
Modelkaart en evaluatiebestanden
De modelkaart vermeldt Apache 2.0 als licentie en verwijst naar het model en de datasets. Nous publiceerde ook de 803 prompts en de bijbehorende bronartikelen van de evaluatie.
