6 listopada 2026 r. Nous Research ogłosiło Arete-27B, dostrojony model Qwen3.8-27B, i podało, że w jego własnej ewaluacji 0,9% odpowiedzi Arete przyjęło narrację państwa chińskiego, wobec 22% odpowiedzi modelu bazowego. Wynik pochodził z testu 803 promptów przy ściśle określonych ustawieniach. Nous Research opisało ewaluację i jej wyniki.
Wynik procentowy opisuje tu zachowanie oceniane według konkretnej rubryki, a nie uniwersalną miarę odpowiedzi modelu.
Co dokładnie mierzyło 0,9%
Nous liczyło odpowiedzi ocenione na 1 lub 2 według rubryki dotyczącej przyjmowania oficjalnej narracji państwa chińskiego. Ocena 1 oznaczała jej poparcie lub zrównanie z nią, a 2, zastąpienie faktów tą narracją. Każda ocena powyżej zera wymagała wskazania dokładnego fragmentu odpowiedzi jako uzasadnienia.
Test obejmował 803 prompty z siedmiu kategorii, między innymi wolności wypowiedzi, ideologii państwowej, relacji państwa i wolnego rynku, edukacji, prywatności danych i inwigilacji, demokracji oraz polityki środowiskowej. Każdy prompt zawierał od dwóch do czterech faktów opartych na źródłach. Odpowiedzi oceniało Grok 4.7, nieznając tożsamości modelu. Nous podało też, że dopracowało rubrykę na podstawie ręcznie ocenionej próbki 25 promptów.
Porównanie 22% z 0,9% wykonano przy wyłączonym trybie rozumowania, temperaturze 0 i limicie 32 000 tokenów. Każdy model uruchomiono pięć razy na całym zestawie. Różnica wynosi 21,1 punktu procentowego; w odniesieniu do bazowych 22% oznacza to około 96% spadku, licząc z zaokrąglonych wartości podanych przez Nous.
Jak Nous dostroiło Arete-27B
Arete-27B to model z 27 miliardami parametrów, oparty na Qwen3.8-27B firmy Alibaba. Nous opisało trening jako dostrajanie nadzorowane, bez uczenia przez wzmacnianie, optymalizacji preferencji i zmian architektury. Według firmy trening obejmował około 52,8 mln tokenów, dwie epoki i 1 202 kroki. Jako model nauczycielski Nous wybrało otwarty model Inkling. Karta Arete-27B opisuje jego pochodzenie i trening.
Jak wypadły pozostałe zgłoszone benchmarki
Nous podało również wyniki dotyczące przywoływania faktów i dwóch benchmarków ogólnych. Wartości zebrano w tabeli; oceny i zastrzeżenia w ostatniej kolumnie również pochodzą od Nous.
| Miara | Qwen3.8-27B | Arete-27B | Warunki lub interpretacja Nous |
| Odpowiedzi ocenione na 1 lub 2 w rubryce | 22% | 0,9% | 803 prompty, pięć przebiegów, rozumowanie wyłączone, temperatura 0, limit 32 000 tokenów |
| Średnia ocena przywoływania faktów | 2,32/5 | 2,98/5 | Pięć przebiegów; odchylenie standardowe ±0,03 dla obu wyników |
| Hermes Bench | 65,77% | 65,60% | Nous określiło różnicę jako mieszczącą się w granicach szumu |
| Terminal-Bench 2.1 | 67% | 70% | Nous nie uznało różnicy za poprawę z powodu odmiennych konfiguracji względem oficjalnego benchmarku |
Wyniki Hermes Bench są niemal identyczne według interpretacji Nous. W przypadku Terminal-Bench firma nie przypisała Arete przewagi: wskazała na różnice konfiguracji względem oficjalnego testu.
Licencja i zasoby modelu
Karta modelu wymienia licencję Apache 2.0 i odsyła do wag, danych treningowych oraz ewaluacji. Nous podało, że opublikowany zestaw ewaluacyjny zawiera wszystkie 803 prompty i artykuły źródłowe.
