A Airbnb avalia agentes de programação combinando a nota de qualidade de uma tarefa com o custo de todos os tokens usados para concluí-la. Depois, compara esses resultados com o uso em produção: uma avaliação controlada não mostra, sozinha, quantas solicitações as pessoas farão nem quanto contexto será processado. A empresa descreveu esse método em um relato publicado no blog de machine learning da AWS.
O que entra no custo de uma tarefa?
Para a Airbnb, o custo por tarefa é calculado pelo preço de lista de todos os tokens consumidos nas solicitações necessárias para concluir o trabalho. A média inclui também tentativas com notas baixas, não apenas as que tiveram bom resultado. Assim, a medida considera o custo do percurso até o fim da tarefa, em vez de contar uma única solicitação ou apenas uma tentativa bem-sucedida.
A empresa separa os tokens em quatro categorias, cada uma com sua própria tarifa: entrada sem cache, leitura de cache, gravação de cache e saída. Essa divisão ajuda a entender por que duas tarefas parecidas podem ter custos diferentes: o volume de cada categoria também importa.
Como a Airbnb avalia modelos antes de usá-los
A Airbnb testa tarefas de engenharia com o estado inicial de um repositório, uma instrução formulada como um pedido de trabalho e um avaliador confiável. Segundo a empresa, os exemplos se baseiam em alterações reais de código, comentários de revisão e decisões que nem sempre aparecem no pedido original. A Airbnb organiza os testes em sete conjuntos de tarefas e compara a nota e o custo por tarefa entre modelos, níveis de esforço de raciocínio e clientes de agente.
A rubrica da empresa atribui pesos a oito dimensões. Cada uma recebe uma nota de 0 a 3; se a autonomia obtiver 0 ou 0,5, a pontuação total fica limitada a 25 de 100.
| Dimensão avaliada | Peso na pontuação |
| Correção | 25 pontos |
| Verificação | 15 pontos |
| Autonomia | 15 pontos |
| Adequação do projeto e da carga de trabalho | 10 pontos |
| Julgamento | 10 pontos |
| Evidências e comunicação dos resultados | 10 pontos |
| Legibilidade | 10 pontos |
| Disciplina operacional | 5 pontos |
A Airbnb relata que, em um modelo não identificado, aumentar o esforço de raciocínio de baixo para alto elevou a nota em 0,8 ponto e multiplicou o custo por tarefa por 2,5. O exemplo ilustra por que a empresa considera os dois resultados juntos: gastar mais pode melhorar a nota, mas a decisão depende do tamanho desse ganho diante do custo adicional.
O que o uso em produção revelou
A ferramenta interna AirChat é usada semanalmente por milhares de profissionais de engenharia e áreas relacionadas, segundo a Airbnb. As solicitações passam pelo gateway de modelos de linguagem da empresa até o Amazon Bedrock. Nesse ambiente, a frequência das solicitações e o modo como as sessões consomem tokens afetam o gasto total.
Na comparação de produção apresentada pela Airbnb, as solicitações do modelo A custavam cerca de três vezes mais que as do modelo anterior, e cada usuário médio fazia cerca de três vezes mais solicitações. O gasto semanal médio por usuário ficou várias vezes maior. A empresa atribuiu a maior parte do custo do modelo A à releitura de contexto em cache durante sessões longas e autônomas; os tokens de saída representavam cerca de um décimo do custo de cada solicitação.
Em outra comparação, o modelo mais recente, também não identificado, obteve nota maior que o modelo A nas mesmas tarefas e com o mesmo avaliador, a cerca de um sexto do custo por tarefa. Depois de migrar usuários intensivos para esse modelo, a Airbnb relatou que, na primeira semana completa, o gasto desse grupo com seu modelo principal caiu para cerca de um sétimo do nível anterior, com volume de solicitações aproximadamente igual. São resultados da operação da Airbnb, não uma previsão de economia para outras equipes.
Ao escolher um agente, compare o custo para concluir uma tarefa com o padrão de uso das pessoas; uma nota isolada não responde às duas perguntas.
A empresa também registra modelo, cliente, equipe e usuário no gateway e usa esses dados de forma agregada para planejar custos e capacidade. Para acompanhar a operação, monitora sinais como latência, demora até o primeiro token, quantidade de tokens de saída, limitação de solicitações e estimativa de uso de cota.
Por que o custo dos tokens e o uso da cota diferem
O custo faturado e a admissão de solicitações na cota são contas diferentes. No exemplo descrito pela Airbnb, a reserva de cota considera a entrada sem cache, as gravações de cache e o limite máximo de tokens de saída (max_tokens). Leituras de cache não entram nessa reserva, e o fator aplicado aos tokens de saída varia conforme o modelo. Por isso, um painel de tokens faturados pode não refletir diretamente quanto espaço resta para admitir novas solicitações.
A Airbnb ilustra o efeito de max_tokens com uma solicitação que reserva 600 tokens de entrada e até 4.096 de saída: 4.696 tokens ao todo. Reduzir o limite de saída para 1.024 deixa a reserva em 1.624 tokens, cerca de 65% menor. Se a quantidade efetivamente processada de entrada e saída não mudar, porém, a redução da reserva não altera o consumo final de cota naquele exemplo.
O monitoramento também envolve controle de acesso: a Airbnb diz que o registro de chamadas, desativado por padrão, pode conter instruções, respostas e a identidade de quem fez a solicitação. A empresa recomenda restringir esse acesso e definir um prazo de retenção.