Kimi K3.1 Pro: quattro patch superano i test, zero invii

Nel test di quattro problemi di repository condotto da Kingy il 23 ottobre 2026, quattro patch di Kimi K3.1 Pro hanno superato tutti i test richiesti, ma nessuno degli otto tentativi ha completato l’invio formale. Per Kingy, superare i test non bastava: l’agente doveva anche inviare un comando di completamento e una spiegazione finale.

Patch superate e consegna formale misurano cose diverse

Un agente di codice può modificare i file e produrre una patch, cioè un insieme di modifiche al software. Nel criterio adottato da Kingy, la patch doveva superare i test richiesti e l’agente doveva poi completare la procedura di invio. I due conteggi, quindi, descrivono risultati distinti.

Kingy ha eseguito due tentativi per ciascuno di quattro problemi storici, scelti nei progetti Django, pytest, scikit-learn e Sphinx. Ecco i risultati degli otto tentativi per modello:

Kingy ha usato mini-SWE-agent 2.4.6, un programma che coordina un modello mentre lavora su un compito di sviluppo. Ogni problema girava in un nuovo contenitore Linux, con una CPU, 2 GiB di RAM e senza accesso alla rete. Sono quattro problemi ripetuti due volte, non otto problemi indipendenti.

Perché si sono fermati i tentativi di Kimi

Kingy ha attribuito l’arresto dei quattro tentativi con patch riuscite al controllo prudenziale del proprio sistema di esecuzione, che riservava una quantità di token di input prima di inviare una richiesta al modello. Nel primo tentativo su pytest, Kimi ha effettuato nove chiamate e prodotto 87.885 token di input cumulativi e 3.655 token di output, inclusi quelli di ragionamento. Il tentativo è durato circa 87 secondi e ha registrato un costo API di 0,083296 USD.

I risultati di una prova separata, un’esecuzione per compito

In una dimostrazione distinta, Beau Johnson ha riferito che Kimi K3.1 Pro ha generato un gioco in Minecraft in 4 minuti e 28 secondi, con un costo di 0,15 dollari USA. Per un cavallo low-poly, il modello ha impiegato 4 minuti e 39 secondi, sempre per 0,15 dollari USA. Nella ricerca di bug, Kimi K3.1 Pro, Claude Opus 5.5 e Claude Sonnet 5.5 hanno ottenuto tutti 10/10; Claude ha valutato le risposte. Johnson ha eseguito una sola prova per ciascun compito. Nel compito del cavallo, i due modelli Claude hanno esaurito il rispettivo budget di token durante il ragionamento.

I benchmark misurano compiti diversi

Moonshot AI ha riportato per Kimi K3.1 Pro un punteggio del 65,7% su Terminal-Bench 4.0, contro il 66,4% di Claude Opus 5.5 e il 58,2% di GPT-6 Astra. Sono risultati dichiarati da Moonshot AI per quel benchmark: riguardano una valutazione diversa dai problemi di repository di Kingy e dai compiti singoli di Johnson.