Memdoor rapporte que son workflow team-solve, exécuté avec Qwen3.8-27B, a réussi 49 tests sur 50 après cinq passages sur les dix premiers problèmes de LiveCodeBench Hard retenus par les auteurs de GVS5H. La colonne Fable 5 correspond à des appels uniques distincts, pas à une exécution de team-solve. Le dépôt de Memdoor détaille les scores de chaque passage.
Les scores par passage
Chaque score indique le nombre de problèmes résolus sur dix pendant un passage.
| Méthode et configuration | Scores par passage | Moyenne par passage |
Memdoor team-solve | 10/10, 10/10, 10/10, 10/10, 9/10 | 9,8/10 |
| Harness des auteurs de GVS5H | 9/10, 10/10, 10/10, 9/10, 10/10 | 9,6/10 |
| Fable 5, appel unique | 7/10, 8/10, 10/10, 8/10, 7/10 | 8,0/10 |
Memdoor décrit l’écart entre les moyennes de team-solve et du harness GVS5H comme étant dans le bruit. Le résultat de Fable 5, lui, provient d’une configuration différente : le modèle n’a pas été exécuté dans team-solve.
Ce que le test évaluait
Pour comparer team-solve au harness GVS5H, Memdoor indique avoir utilisé Qwen3.8-27B avec les prompts et la boucle des auteurs, un plafond de réponse de 128 000 jetons et un correctif du grader. Celui-ci évaluait les programmes sur des tests cachés. Les problèmes demandaient un programme Python lisant l’entrée standard, à partir d’un énoncé et d’exemples d’entrée et de sortie.
Le résultat porte sur dix problèmes, chacun passé cinq fois. Memdoor indique que son échantillon représente dix problèmes parmi les 100 de la liste des auteurs. Les concours dont ils proviennent datent du printemps 2025 ; le dépôt précise qu’une contamination éventuelle ne peut être écartée.
Six rôles, deux étapes en parallèle
Le workflow distribue le travail entre un planificateur, deux idéateurs, un solveur, un réviseur ou manager et un agent de réparation. Les deux idéateurs fonctionnent en parallèle. Les autres rôles se succèdent selon les dépendances du workflow ; les étapes de test et de vérification finale sont des commandes, pas des agents. Les rôles commencent avec des contextes distincts et transmettent leur travail par des fichiers. Le modèle des étapes est choisi via le pin /model : le décompte des rôles ne signifie donc pas qu’il faille six modèles ou six GPU.
Le dépôt rapporte qu’un passage a échoué après que le manager a produit un contre-exemple erroné et que le workflow a remplacé un programme correct. Dans deux autres cas, le workflow a écrasé des programmes corrects, ensuite récupérés.
