Repozytorium Memdoor podaje, że workflow team-solve z Qwen3.8-27B zaliczył 49 z 50 testów w pięciu przebiegach na dziesięciu zadaniach LiveCodeBench Hard. Wyniki Fable 5 w tym samym zestawieniu pochodzą z osobnego testu, w którym model odpowiadał jednym wywołaniem na zadanie. Repozytorium Memdoor opisuje też wyniki każdej rundy i sposób działania workflow.
Wyniki pięciu przebiegów
team-solve uzyskał kolejno 10, 10, 10, 10 i 9 rozwiązanych zadań na 10, co daje średnią 9,8. Harness autorów GVS5H osiągnął 9, 10, 10, 9 i 10, ze średnią 9,6. Memdoor ocenia tę różnicę jako mieszczącą się w granicach szumu. Fable 5 uzyskał w osobnym teście jednego wywołania 7, 8, 10, 8 i 7, czyli średnio 8,0.
| Metoda i konfiguracja | Wyniki kolejnych przebiegów (zadania z 10) | Średnia na przebieg |
Memdoor team-solve z Qwen3.8-27B | 10, 10, 10, 10, 9 | 9,8/10 |
| Harness autorów GVS5H | 9, 10, 10, 9, 10 | 9,6/10 |
| Fable 5, jedno wywołanie | 7, 8, 10, 8, 7 | 8,0/10 |
Fable 5 nie uruchomiono w team-solve, więc jego wynik nie pochodzi z tego samego workflow. W porównaniu z harness’em GVS5H Memdoor opisuje użycie Qwen3.8-27B, promptów i pętli autorów oraz limitu odpowiedzi 128 tys. tokenów. Zastosowany poprawiony grader oceniał ukryte testy.
Jak działało team-solve
Zadanie polegało na rozwiązaniu problemu konkursowego: model dostawał jego opis i przykładowe pliki wejścia oraz wyjścia, a program w Pythonie miał czytać dane ze standardowego wejścia. Taki test sprawdza rozwiązywanie zadań tego rodzaju; pięć przebiegów nie jest pomiarem pracy nad wieloplikowym projektem programistycznym.
Workflow obejmował sześć ról agentów: planistę, dwóch ideatorów, solvera, recenzenta pełniącego rolę managera oraz agenta naprawczego. Każda rola zaczynała z nowym kontekstem, a agenci przekazywali sobie pracę przez pliki. Równolegle działały tylko dwa etapy ideacji. Testowanie i końcowa weryfikacja były poleceniami, a wynik zaliczenia ustalała końcowa weryfikacja. Kroki korzystały z modelu wskazanego przez użytkownika.
Opisany przez Memdoor przebieg pokazuje też, jak poprawki mogą wpłynąć na wynik: w jedynym niezaliczonym zadaniu manager wygenerował błędny kontrprzykład, po czym workflow nadpisał poprawny program. W dwóch innych przypadkach poprawne programy również zostały nadpisane, ale później je odzyskano.
Zakres wyniku i porównanie z Fable 5
Memdoor przetestował pierwsze dziesięć zadań z listy LiveCodeBench Hard autorów GVS5H, wykonując pięć przebiegów na każdym. Autorzy repozytorium zestawiają tę próbkę ze swoim badaniem obejmującym 100 zadań i zaznaczają, że różnica między średnimi team-solve i harnessu GVS5H mieści się w granicach szumu. Konkursy, z których pochodziły zadania, odbyły się wiosną 2025 roku; Memdoor nie wyklucza kontaminacji wyników danymi z tych konkursów.
