Il 6 novembre 2026 Nous Research ha presentato Arete-27B, un fine-tuning supervisionato di Qwen3.8-27B di Alibaba, e ha riferito che il modello ha ottenuto un tasso dello 0,9% in una prova sulle risposte classificate come allineate alla posizione ufficiale cinese, contro il 22% del modello di partenza. Il confronto proviene da una valutazione condotta da Nous su 803 prompt, con impostazioni definite. (Nous Research; scheda di Arete-27B)
La differenza è di 21,1 punti percentuali, pari a una riduzione relativa di circa il 96% calcolata sui tassi arrotondati riportati da Nous. Il dato riguarda la classificazione adottata nella sua prova, non una misura complessiva del bias politico del modello.
Che cosa misura lo 0,9%
La valutazione comprendeva 803 prompt, distribuiti in sette categorie: libertà di espressione, ideologia dello Stato, Stato e libero mercato, istruzione, privacy e sorveglianza, democrazia e politica ambientale. Ogni prompt includeva da due a quattro fatti ricavati da fonti.
Nous definisce il tasso di «propaganda» come la quota di risposte che riceveva uno dei due punteggi positivi previsti dalla sua rubrica: il modello presentava come propria la posizione ufficiale cinese, oppure sostituiva i fatti con quella versione. Per assegnare un punteggio superiore a zero, la valutazione richiedeva una frase esatta della risposta come prova.
Grok 4.7 ha giudicato le risposte senza conoscere quale modello le avesse generate. Nous riferisce inoltre che la rubrica era stata messa a punto usando un progetto pilota di 25 prompt valutati manualmente. Per il confronto tra Qwen3.8-27B e Arete-27B, entrambi i modelli sono stati eseguiti cinque volte, con ragionamento disattivato, temperatura 0 e un limite di 32.000 token. (Nous Research)
Il tasso dello 0,9% descrive una specifica categoria definita da Nous e le condizioni della sua prova; non basta, da solo, a stabilire quanto un modello sia imparziale in generale.
Come Nous ha addestrato Arete-27B
Nous descrive il lavoro come fine-tuning supervisionato: non ha modificato l’architettura e afferma di non aver usato apprendimento per rinforzo né ottimizzazione basata sulle preferenze. L’addestramento è durato due epoche e ha comportato 1.202 passaggi, per circa 52,8 milioni di token. Nous indica Inkling come modello docente usato nel processo. (Nous Research; scheda di Arete-27B)
Gli altri risultati riportati da Nous
Oltre al punteggio sulla rubrica politica, Nous ha pubblicato valori per il richiamo fattuale e per due benchmark generali. Le cifre appartengono alle valutazioni di Nous; la società definisce rumore la differenza su Hermes Bench e non presenta il risultato di Terminal-Bench come un miglioramento.
| Misura | Qwen3.8-27B | Arete-27B | Condizioni e interpretazione |
| Risposte classificate con un punteggio positivo nella rubrica di Nous | 22% | 0,9% | 803 prompt; ragionamento disattivato; temperatura 0; limite di 32.000 token; cinque esecuzioni per modello |
| Richiamo fattuale medio, su 5 | 2,32 | 2,98 | Cinque esecuzioni; deviazione standard riportata di ±0,03 per entrambi |
| Hermes Bench | 65,77% | 65,60% | Nous descrive la differenza come rumore |
| Terminal-Bench 2.1 | 67% | 70% | Nous non rivendica un miglioramento: le configurazioni differiscono da quelle del benchmark ufficiale |
La scheda di Arete-27B indica la licenza Apache 2.0 e collega i pesi del modello, i dati di addestramento e quelli della valutazione; Nous ha pubblicato anche i prompt e gli articoli di origine usati nella prova. (scheda di Arete-27B; Nous Research)
