Memdoors team-solve-Workflow löste laut Projekt-Repository mit Qwen3.8-27B 49 von 50 Aufgabenläufen auf den ersten zehn Problemen der GVS5H-Autorenliste zu LiveCodeBench Hard. Die fünf Durchgänge endeten mit 10, 10, 10, 10 und 9 gelösten Aufgaben. Fable 5 wurde separat mit einem Aufruf pro Aufgabe ausgewertet.
Die fünf Durchgänge im Vergleich
| Methode und Konfiguration | Gelöste Aufgaben je Durchgang (von 10) | Summe (von 50) | Mittelwert je Durchgang (von 10) |
Memdoor team-solve mit Qwen3.8-27B | 10, 10, 10, 10, 9 | 49/50 | 9,8/10 |
| GVS5H-Autoren-Harness | 9, 10, 10, 9, 10 | 48/50 | 9,6/10 |
| Fable 5, ein Aufruf | 7, 8, 10, 8, 7 | 40/50 | 8,0/10 |
Memdoor ordnet den Unterschied zwischen team-solve und dem GVS5H-Harness als innerhalb des Rauschens ein. Die Fable-5-Werte stammen aus einem getrennten Ein-Aufruf-Vergleich; Fable 5 lief nicht im team-solve-Workflow. Die Zahlen bilden daher keine gleichartigen Teamläufe der beiden Modelle ab.
Für den Vergleich mit dem GVS5H-Harness nennt Memdoor Qwen3.8-27B, die Prompts und den Ablauf der Autoren sowie ein Antwortlimit von 128K Token. Ein korrigierter Grader bewertete verborgene Tests. Die Ergebnisse beziehen sich auf zehn ausgewählte Probleme, die jeweils fünfmal bearbeitet wurden.
Sechs Rollen, zwei parallele Ideatoren
Der Workflow verteilt die Arbeit auf einen Planer, zwei Ideatoren, einen Solver, einen Reviewer beziehungsweise Manager und einen Reparatur-Agenten. Nur die beiden Ideatoren laufen parallel. Tests und abschließende Verifikation sind Befehle, keine Agentenrollen. Die Rollen starten laut Repository jeweils in einem frischen Kontext und tauschen ihre Arbeit über Dateien aus.
Die Aufgaben folgen einem Wettbewerbsformat: Zu einer Problemstellung gehören Beispiele für Ein- und Ausgabe; gefragt ist ein Python-Programm, das von der Standardeingabe liest. Memdoor berichtet, dass der Manager beim einzigen Fehlschlag ein falsches Gegenbeispiel erzeugte und der Ablauf daraufhin ein korrektes Programm umschrieb. In zwei weiteren Fällen wurden korrekte Programme überschrieben und später wiederhergestellt.
Memdoor führte die Läufe über OpenRouter aus. Das Repository nennt eine mediane Laufzeit von 40 Minuten und mediane Kosten von 0,39 US-Dollar pro Lauf; für 50 Läufe weist es insgesamt 35,79 US-Dollar aus.
