A Memdoor reporta que o workflow team-solve, executado com Qwen3.8-27B, passou em 49 de 50 testes ao longo de cinco rodadas nos dez problemas selecionados de LiveCodeBench Hard. A média foi de 9,8 problemas resolvidos por rodada. O resultado de Fable 5 que aparece na mesma tabela é de chamadas únicas, fora do team-solve, portanto não representa uma disputa em condições equivalentes. O repositório da Memdoor apresenta os resultados e descreve o método.
As cinco rodadas e suas configurações
A tabela do repositório registra o número de problemas resolvidos em cada rodada, sempre de um total de dez. O team-solve variou de dez acertos a nove; o harness dos autores do GVS5H também ficou entre nove e dez. A Memdoor descreve a diferença entre as médias desses dois workflows como dentro do ruído.
| Método e configuração | Resultados por rodada (de 10) | Média por rodada (de 10) |
Memdoor team-solve, com Qwen3.8-27B | 10, 10, 10, 10, 9 | 9,8 |
| Harness dos autores do GVS5H | 9, 10, 10, 9, 10 | 9,6 |
| Fable 5, uma chamada por problema | 7, 8, 10, 8, 7 | 8,0 |
A Memdoor diz que a comparação entre team-solve e o harness GVS5H usou Qwen3.8-27B, os prompts e o loop dos autores, um limite de resposta de 128 mil tokens e um avaliador corrigido que verificou testes ocultos. Já Fable 5 não foi executado nesse workflow: seus números são uma referência separada de uma chamada por problema. Assim, a tabela não mede como Fable 5 se sairia com team-solve.
O que o workflow executa
O processo tem seis funções de agente: planejamento, dois ideadores, solução, revisão/gerenciamento e reparo. Apenas os dois ideadores trabalham em paralelo. Testes e verificação final são comandos, não agentes; a verificação final determina se a solução passa. As etapas usam contextos novos e trocam arquivos pelo disco. A descrição não fixa quantas instâncias físicas do modelo ou GPUs são necessárias.
A tarefa avaliada segue o formato de competição: um enunciado, exemplos de entrada e saída e um programa Python que lê dados da entrada padrão. Em uma das falhas, o gerente gerou um contraexemplo incorreto e o workflow reescreveu um programa que estava certo. Em outros dois casos, programas corretos foram sobrescritos e depois recuperados, segundo a Memdoor.
O alcance do resultado
Os 49 acertos correspondem a cinco execuções de dez problemas, não a uma medida geral da precisão de Qwen3.8-27B em programação. O teste também não compara diretamente agentes paralelos com um ciclo sequencial de implementação e revisão.
A Memdoor relata que as execuções foram hospedadas na OpenRouter. O tempo mediano foi de 40 minutos por execução, e o custo mediano informado foi de US$ 0,39 por execução; o total reportado para as 50 execuções foi de US$ 35,79.
