Dans le test de dépôts mené par Kingy le 23 octobre 2026, Kimi K3.1 Pro a produit quatre correctifs qui ont passé tous les tests requis, sur huit tentatives. Aucune n’a abouti à la remise formelle du travail. Un correctif validé et une tâche menée à son terme sont deux résultats différents.
Un correctif validé n’est pas une tâche remise
Pour compter comme une soumission normale, l’agent devait afficher la commande COMPLETE_TASK_AND_SUBMIT_FINAL_OUTPUT et fournir une explication finale. Les quatre correctifs de Kimi qui ont passé les tests sont restés enregistrés, mais les tentatives se sont arrêtées avant cette étape.
Les résultats sur quatre problèmes de dépôts
Kingy a testé cinq modèles sur quatre problèmes historiques issus de Django, pytest, scikit-learn et Sphinx, avec deux tentatives par modèle et par problème. Le test utilisait mini-SWE-agent 2.4.6, un agent qui s’appuie sur des outils pour examiner et modifier du code, dans des conteneurs Linux vierges, sans réseau, avec un processeur et 2 Go de mémoire vive par tâche.
| Modèle | Correctifs ayant passé les tests requis, sur 8 | Soumissions normales, sur 8 |
| Kimi K3.1 Pro | 4/8 | 0/8 |
| GPT-6.1 Sol | 5/8 | 0/8 |
| Claude Sonnet 5.5 | 4/8 | 2/8 |
| Kimi K3 | 0/8 | 0/8 |
| DeepSeek V4.1 Flash 1017 | 0/8 | 0/8 |
Kimi K3.1 Pro a réussi ses deux tentatives sur pytest et ses deux tentatives sur scikit-learn. Il n’a produit aucun correctif pour les problèmes retenus dans Django et Sphinx. Les huit essais correspondent donc à quatre problèmes sélectionnés, et non à huit problèmes différents.
Pourquoi les tentatives de Kimi se sont arrêtées
Kingy attribue l’arrêt des quatre tentatives ayant laissé un correctif validé à son contrôle de réservation des tokens d’entrée. Ce contrôle vérifiait si assez de capacité restait pour poursuivre l’échange avec le modèle.
Lors de la première tentative sur pytest, le test a enregistré neuf appels, 87 885 tokens d’entrée cumulés, 3 655 tokens de sortie, raisonnement compris, et environ 87 secondes. L’utilisation de l’API pour cet essai a coûté 0,083296 $US. Sur les huit tentatives de Kimi, Kingy rapporte un coût total de 0,722 $US, échecs compris.
Une autre démonstration, avec une seule tentative par tâche
Dans une comparaison distincte, Beau Johnson rapporte que Kimi K3.1 Pro a généré un jeu Minecraft en 4 min 28 s pour 0,15 $US, puis un cheval low-poly en 4 min 39 s pour 0,15 $US. Kimi K3.1 Pro, Claude Opus 5.5 et Claude Sonnet 5.5 ont chacun obtenu 10/10 à une recherche de bogues. Claude a évalué les réponses. Johnson a effectué une seule tentative par tâche.
Des scores qui répondent à des questions différentes
Moonshot AI a annoncé un score de 65,7 % pour Kimi K3.1 Pro sur Terminal-Bench 4.0, contre 66,4 % pour Claude Opus 5.5 et 58,2 % pour GPT-6 Astra. Ce benchmark porte sur une évaluation différente des problèmes de dépôts de Kingy et des tâches ponctuelles de Beau Johnson. Ces résultats décrivent des essais précis, pas un classement général des modèles pour la programmation.
