Memdoor meldt dat Qwen3.8-27B met de workflow team-solve 49 van de 50 tests haalde: vijf rondes op de eerste tien LiveCodeBench Hard-opgaven. Het gemiddelde was 9,8 opgaven per ronde, tegenover 9,6 voor de GVS5H-opzet van de auteurs. De Fable 5-score komt uit een afzonderlijke test met één aanroep per opgave. Memdoors resultaten en workflow
De scores per ronde
| Aanpak | Opgaven per ronde (vijf rondes, telkens 10) | Gemiddelde per ronde |
Memdoor team-solve | 10, 10, 10, 10, 9 | 9,8/10 |
| GVS5H-opzet van de auteurs | 9, 10, 10, 9, 10 | 9,6/10 |
| Fable 5, één aanroep | 7, 8, 10, 8, 7 | 8,0/10 |
Memdoor omschrijft het verschil tussen de gemiddelden van team-solve en GVS5H als kleiner dan de meetruis. Fable 5 draaide niet in team-solve; de score van 8,0 is een aparte vergelijking met één aanroep per opgave.
Wat de benchmark omvatte
Memdoor nam de eerste tien opgaven uit de lijst van 100 LiveCodeBench Hard-problemen van de GVS5H-auteurs en voerde elke opgave vijf keer uit. Voor de vergelijking met hun opzet gebruikte Memdoor Qwen3.8-27B, hun prompts en loop en een antwoordlimiet van 128K tokens. Een aangepaste beoordelaar controleerde de programma’s met verborgen tests.
De opgaven bestonden uit een probleemomschrijving, voorbeeldbestanden met invoer en uitvoer, en een Python-programma dat invoer via standaardinvoer leest. De opgaven kwamen uit wedstrijden in het voorjaar van 2025; Memdoor noemt mogelijke trainingsdatavervuiling als beperking.
Zes rollen, met twee parallelle ideators
De workflow verdeelt het werk over zes agentrollen: een planner, twee ideators, een solver, een reviewer/manager en een reparatieagent. Alleen de twee ideators werken parallel. Testen en de laatste verificatie zijn commandostappen; de eindcontrole bepaalt of het resultaat slaagt. De stappen gebruiken het model dat via /model is geselecteerd, en de rollen geven geen vast aantal afzonderlijke modelinstanties aan.
De rollen beginnen met een nieuwe context en wisselen werk uit via bestanden. In de mislukte test bedacht de manager een onjuist tegenvoorbeeld, waarna de workflow een programma herschreef dat correct was. In twee andere gevallen werden correcte programma’s overschreven en later hersteld.
