Airbnb évalue ses agents de programmation en associant à chaque tâche un score de qualité et le coût de tous les tokens consommés pour la terminer. L’entreprise confronte ensuite ces résultats aux usages en production : un test sur des tâches préparées ne suffit pas à décrire la fréquence des requêtes ni leur coût au quotidien. C’est la méthode qu’elle décrit pour ses outils internes reliés à Amazon Bedrock, dans un récit publié par Airbnb sur le blog AWS.

Pour choisir un agent, regardez à la fois le résultat obtenu sur une tâche et ce que son utilisation réelle demande en requêtes et en tokens.

Comment Airbnb calcule le coût d’une tâche de programmation

Airbnb additionne le coût, aux tarifs catalogue, de tous les tokens utilisés dans les requêtes nécessaires pour terminer une tâche. Le calcul comprend les tentatives peu concluantes : la moyenne ne se limite donc pas aux travaux qui obtiennent un bon score. L’entreprise associe ce coût à une note attribuée par un évaluateur chargé de juger le résultat.

Ce calcul couvre quatre catégories de tokens, facturées à des tarifs différents : les tokens d’entrée non mis en cache, les lectures du cache, les écritures dans le cache et les tokens de sortie. Le coût d’une tâche dépend ainsi de l’ensemble de l’échange avec l’agent, et pas seulement de sa réponse finale.

Comment Airbnb évalue ses modèles avant de les déployer

Schéma en boucle reliant une évaluation de tâches de programmation, ses scores et ses coûts, aux signaux d’usage en production, puis aux réglages du modèle.

Airbnb décrit des tâches d’ingénierie représentatives, conçues à partir d’états initiaux de dépôts de code, de consignes proches de celles d’un ingénieur et d’un évaluateur. Ses tâches s’appuient aussi sur des modifications de code réelles, des commentaires de revue et des décisions qui ne figurent pas toujours dans les tickets d’origine.

L’entreprise répartit les tests en sept suites et utilise un barème à huit dimensions, notées chacune de 0 à 3. La justesse compte pour 25 points ; la vérification et l’autonomie, 15 points chacune ; l’adéquation de la conception et de la charge, le discernement, la qualité du compte rendu et la lisibilité, 10 points chacune ; la discipline opérationnelle, 5 points. Si la note d’autonomie est de 0 ou de 0,5, le score total est plafonné à 25 sur 100.

Dans un test sur un modèle dont l’identité n’est pas précisée, Airbnb rapporte qu’un niveau d’effort de raisonnement élevé a relevé le score de 0,8 point par rapport au niveau faible, mais multiplié par 2,5 le coût par tâche. L’entreprise dit utiliser ce type de résultat pour définir les réglages par défaut et les limites d’effort. Le compromis est concret : davantage de raisonnement peut améliorer le résultat évalué, tout en augmentant le coût de la tâche.

Ce que l’usage en production a changé dans l’évaluation

AirChat, l’outil interne d’Airbnb, achemine les requêtes vers Amazon Bedrock par l’intermédiaire d’une passerelle de grands modèles de langage. Airbnb indique que des milliers d’ingénieurs et de personnes travaillant à proximité des équipes d’ingénierie utilisent AirChat chaque semaine. Pour observer cette activité, l’entreprise suit notamment le volume de requêtes, les catégories de tokens, la latence et les ralentissements dus aux limites de débit.

Dans une comparaison en production, Airbnb rapporte que les requêtes du « modèle A » coûtaient environ trois fois plus cher que celles du modèle précédent, tandis que les utilisateurs moyens envoyaient environ trois fois plus de requêtes. La dépense hebdomadaire moyenne par utilisateur était, elle aussi, plusieurs fois supérieure. Selon l’entreprise, les tokens de sortie ne représentaient qu’environ un dixième du coût d’une requête avec ce modèle ; une grande partie venait de la relecture du contexte mis en cache au cours de longues sessions autonomes.

Airbnb rapporte aussi qu’un modèle plus récent, non identifié, a obtenu un meilleur score que le modèle A sur les mêmes tâches et avec le même évaluateur, pour un coût par tâche équivalant à environ un sixième. Après avoir transféré les utilisateurs intensifs vers ce nouveau modèle, l’entreprise dit que leurs dépenses pour leur modèle principal sont tombées à environ un septième du niveau précédent pendant leur première semaine complète, alors que le nombre de requêtes est resté à peu près similaire. Le résultat porte sur ce groupe et cette période d’observation.

Pourquoi le coût des tokens et la consommation du quota diffèrent

Le coût des tokens mesure les catégories facturées ; l’admission au quota estime plutôt les ressources à réserver pour accepter une requête. Dans l’explication d’Airbnb, cette réservation comprend les tokens d’entrée non mis en cache, les écritures dans le cache et le plafond de sortie demandé, indiqué par max_tokens. Les lectures du cache ne comptent pas dans cette réservation, et le débit auquel les tokens de sortie consomment le quota varie selon le modèle.

Un tableau de bord des tokens facturés ne donne donc pas nécessairement la même indication qu’un calcul d’admission au quota. Pour repérer pourquoi des requêtes sont ralenties, Airbnb recommande de surveiller séparément les métriques de quota et les tokens facturés, ainsi que les signaux de limitation de débit dans Amazon CloudWatch.