Airbnb compara la puntuación de un evaluador con el coste de todos los tokens necesarios para completar una tarea de programación. Después contrasta esos resultados con el uso de sus agentes en producción: las solicitudes, el consumo de tokens y la latencia pueden cambiar el coste real de operar un modelo. El método y las cifras que siguen son los que Airbnb describió en un caso publicado por AWS el 18 de noviembre de 2026.

Una buena puntuación en una tarea preparada responde a una pregunta; el coste por tarea y la telemetría de producción responden a otra.

Qué incluye Airbnb en el coste de una tarea

Airbnb define el coste por tarea como el precio de lista de todos los tokens consumidos en las solicitudes que necesita el agente para terminarla. La empresa empareja ese coste con la puntuación de un evaluador y mantiene en el promedio los intentos con resultados bajos. Así, la medida contempla el recorrido completo de la tarea, no solo una solicitud aislada.

El cálculo distingue cuatro categorías con tarifas propias: tokens de entrada sin caché, lecturas de caché, escrituras de caché y tokens de salida. Una caché permite reutilizar contexto entre solicitudes; en el ejemplo de Airbnb, releer ese contexto durante sesiones largas y autónomas representó la mayor parte del coste de las solicitudes del modelo A. Los tokens de salida supusieron alrededor de una décima parte.

Cómo evalúa Airbnb los modelos antes de usarlos

Diagrama conceptual en forma de ciclo: una evaluación de tareas de programación produce una puntuación de calidad y un coste; la monitorización de producción añade señales de actividad, tokens, latencia y limitación de solicitudes, que orientan ajustes para la siguiente evaluación.

Airbnb prepara tareas representativas de ingeniería con el estado inicial de un repositorio, una instrucción similar a la de un ingeniero y un evaluador. Según la empresa, las tareas incorporan cambios de código, comentarios de revisión y decisiones que pueden no estar explícitas en los tickets originales. Sus siete conjuntos de tareas permiten comparar modelos, niveles de esfuerzo de razonamiento y clientes de agente en condiciones preparadas.

La rúbrica puntúa ocho dimensiones de 0 a 3. Da más peso a la corrección (25), la verificación y la autonomía (15 cada una); el ajuste entre diseño y carga de trabajo, el criterio, la evidencia y comunicación, y la legibilidad pesan 10 cada una, mientras que la disciplina operativa pesa 5. Si la autonomía obtiene 0 o 0,5, la puntuación total queda limitada a 25 sobre 100.

Airbnb afirma que puede obtener los primeros resultados en horas y completar las puntuaciones y los costes de los conjuntos al día siguiente de iniciar una evaluación de un modelo nuevo. En una prueba con un modelo sin identificar, pasar de un esfuerzo de razonamiento bajo a uno alto elevó la puntuación 0,8 puntos y multiplicó por 2,5 el coste por tarea. Ese resultado ilustra el intercambio que la empresa usa para ajustar valores predeterminados y límites de esfuerzo.

Qué observó Airbnb en producción

Las pruebas preparadas no reflejaron por sí solas el patrón de uso que Airbnb vio después del despliegue del modelo A. En su comparación con el modelo anterior, cada solicitud costaba alrededor de tres veces más y el usuario medio enviaba aproximadamente tres veces más solicitudes. El gasto semanal medio por usuario fue varias veces superior.

Airbnb atribuyó la mayor parte del coste de las solicitudes del modelo A a las lecturas repetidas de contexto almacenado en caché durante sesiones largas y autónomas. Esto ayuda a explicar por qué medir una tarea fija no basta: en producción también cuenta cuántas veces vuelve a solicitar trabajo cada usuario y cuánto contexto se procesa en esas sesiones.

En las mismas tareas y con el mismo evaluador, Airbnb dice que un modelo más nuevo obtuvo una puntuación superior a la del modelo A con cerca de una sexta parte de su coste por tarea. Después, la empresa trasladó a usuarios intensivos del modelo A a ese modelo: durante su primera semana completa, el gasto en su modelo principal cayó a alrededor de una séptima parte, con un volumen de solicitudes aproximadamente igual. La comparación de evaluación y el resultado de producción describen medidas distintas.

Airbnb usa su pasarela LLM para dirigir AirChat a Amazon Bedrock y registra el modelo, el cliente, el equipo y el usuario para planificar costes y capacidad de forma agregada. También monitoriza en Amazon CloudWatch la latencia, el tiempo hasta el primer token, los tokens de salida, las solicitudes limitadas y el uso estimado de cuota. La empresa advierte que el registro de invocaciones puede contener instrucciones, respuestas e identidad de quien llama; recomienda restringir su acceso y definir un plazo de conservación.

Por qué el coste de los tokens y el uso de cuota difieren

La facturación y la admisión de solicitudes contabilizan cosas distintas. Según la explicación de Airbnb, la reserva de cuota incluye los tokens de entrada sin caché, las escrituras de caché y el máximo de salida configurado como max_tokens; las lecturas de caché no cuentan para esa reserva. Además, el consumo de cuota por token de salida depende del modelo. Por eso, un panel de tokens facturados y el cálculo usado para aceptar solicitudes pueden mostrar niveles distintos.

En el ejemplo de Airbnb, una cuota de 1.000.000 de tokens por minuto y un ritmo de 300 solicitudes por minuto parecían usar alrededor del 30 % en el panel. Al aplicar un factor de consumo de salida de 5:1, la estimación subía a cerca del 77 %.

La reserva inicial de una solicitud con 600 tokens de entrada y max_tokens de 4.096 suma 4.696 tokens. Reducir el máximo de salida a 1.024 deja la reserva en 1.624, alrededor de un 65 % menos. Si los tokens de entrada y salida efectivos no cambian, Airbnb indica que el consumo final de cuota tampoco cambia.