Nel benchmark LiveCodeBench Hard, Memdoor riporta che il workflow team-solve, eseguito con Qwen3.8-27B su dieci problemi per cinque passaggi, ha superato 49 test su 50. La media è stata di 9,8 problemi risolti su 10 per passaggio, vicina ai 9,6 dell’harness GVS5H. Il dato di Fable 5, invece, riguarda una chiamata singola e non un’esecuzione con team-solve, come precisa il repository di Memdoor.
I punteggi dei cinque passaggi
Memdoor pubblica i risultati di ciascun passaggio per le tre configurazioni riportate. Le medie sono calcolate sui dieci problemi selezionati.
| Metodo e configurazione | Problemi risolti per passaggio, su 10 | Media per passaggio, su 10 |
Memdoor team-solve con Qwen3.8-27B | 10, 10, 10, 10, 9 | 9,8 |
| Harness degli autori GVS5H | 9, 10, 10, 9, 10 | 9,6 |
| Fable 5, una chiamata | 7, 8, 10, 8, 7 | 8,0 |
Memdoor considera la differenza tra la media di team-solve e quella dell’harness GVS5H entro il rumore del test. Per questo piccolo campione, i due risultati sono vicini. La riga di Fable 5 ha condizioni diverse: il modello non è stato eseguito con team-solve.
Che cosa misurava il test
La prova copriva i primi dieci problemi della selezione LiveCodeBench Hard usata dagli autori di GVS5H, ciascuno ripetuto in cinque passaggi. Ogni esercizio presentava un testo del problema e file di esempio con input e output; il programma da scrivere era in Python e leggeva da standard input.
Per il confronto con l’harness GVS5H, Memdoor indica Qwen3.8-27B, i prompt e il loop degli autori e un limite di risposta di 128K. Memdoor afferma inoltre di aver corretto il grader e di aver valutato il risultato sui test nascosti.
Il progetto riferisce una durata mediana di 40 minuti per esecuzione e un costo mediano di 0,39 dollari statunitensi, con OpenRouter come host. Il totale dichiarato per le 50 esecuzioni è 35,79 dollari statunitensi.
Sei ruoli, due ideatori in parallelo
Il workflow assegna il lavoro a sei ruoli: pianificatore, due ideatori, risolutore, revisore/manager e agente di riparazione. I due ideatori procedono in parallelo; gli altri passaggi seguono una sequenza di dipendenze e si scambiano il lavoro attraverso file. I controlli di test e verifica finale sono comandi, non ruoli di agente.
I passaggi usano il modello selezionato tramite un model pin. I sei ruoli descrivono quindi le funzioni del workflow, non un requisito di sei istanze di modello o sei GPU.
Il confronto con Fable 5 resta distinto
Il risultato di Fable 5 è una serie separata di chiamate singole. I suoi cinque punteggi fanno media di 8,0 su 10, ma non misurano come Fable 5 si comporterebbe nello stesso workflow di team-solve. I dati non costituiscono quindi un confronto tra i due modelli con condizioni di agenti equivalenti.
Memdoor attribuisce l’unico problema fallito a un controesempio errato prodotto dal manager: il workflow finì per riscrivere un programma che era corretto. In altri due casi, secondo il progetto, programmi corretti furono sovrascritti e poi recuperati. I risultati riguardano dieci problemi, tratti da contest della primavera 2025; Memdoor afferma che non si può escludere una contaminazione dei dati.
