Memdoor reporta 49 aciertos en 50 pruebas con team-solve y Qwen3.8-27B, tras cinco pasadas por diez problemas de LiveCodeBench Hard. La comparación con Fable 5 corresponde a una sola llamada por problema, no al mismo flujo de agentes. El repositorio de Memdoor detalla estas puntuaciones y las condiciones de la evaluación.
Las cinco pasadas y sus resultados
El promedio de team-solve fue de 9,8 problemas resueltos de cada diez. Memdoor describe ese resultado como dentro del ruido frente al 9,6/10 del harness de los autores de GVS5H. Fable 5 obtuvo una media de 8,0/10 en su columna de una llamada.
| Método y configuración | Aciertos por pasada, sobre 10 | Media por pasada, sobre 10 |
Memdoor team-solve, con Qwen3.8-27B | 10, 10, 10, 10, 9 | 9,8 |
| Harness de los autores de GVS5H, con Qwen3.8-27B | 9, 10, 10, 9, 10 | 9,6 |
| Fable 5, una llamada | 7, 8, 10, 8, 7 | 8,0 |
Fable 5 no se ejecutó con team-solve: su puntuación procede de una llamada por problema y de resultados separados. Por tanto, la tabla no compara Qwen3.8-27B y Fable 5 bajo el mismo flujo de agentes.
Qué midió la evaluación
La prueba abarcó los diez primeros problemas de la lista LiveCodeBench Hard de los autores de GVS5H, repetidos en cinco pasadas. Cada tarea presentaba un problema de programación y ejemplos de entrada y salida; la solución debía ser un programa Python que leyera datos de la entrada estándar. La puntuación se calculó con pruebas ocultas y un evaluador corregido.
Para la comparación con el harness de GVS5H, Memdoor indica que usó Qwen3.8-27B, los prompts y el bucle de los autores, y un límite de respuesta de 128K. La muestra es pequeña frente a los 100 problemas del estudio de los autores. Memdoor también advierte que no puede descartarse contaminación, ya que los concursos de los que proceden los problemas son de la primavera de 2025.
Las ejecuciones se alojaron en OpenRouter. Memdoor cifra la duración mediana en 40 minutos y el coste mediano en 0,39 US$ por ejecución; el total de las 50 ejecuciones fue de 35,79 US$.
Seis roles, con dos ideadores en paralelo
El flujo asigna seis roles: planificación, dos ideadores, resolución, revisión o gestión y reparación. Cada rol empieza con un contexto nuevo y pasa el trabajo mediante archivos. Solo los dos ideadores trabajan en paralelo. Las pruebas y la verificación final son comandos; es el resultado de la verificación, no una votación entre agentes, lo que determina si la solución pasa.
En el único problema fallido, el responsable de revisión generó un contraejemplo incorrecto y el flujo sustituyó un programa que era correcto. Memdoor también registra dos casos en los que se sobrescribieron programas correctos y después se recuperaron.
