Airbnb beoordeelt codeeragenten op de kwaliteit van hun werk én de kosten van alle tokens die nodig zijn om een programmeertaak af te ronden. Daarna vergelijkt het die testresultaten met het gebruik in productie: hoeveel verzoeken mensen doen en hoeveel context de agent daarbij verwerkt. Die aanpak beschrijft Airbnb in een casestudy die op 18 november 2026 via AWS verscheen.

Wat Airbnb bedoelt met kosten per taak

Airbnb berekent de kosten per taak als de lijstprijskosten van alle tokens over alle verzoeken die nodig zijn om de taak af te ronden. Daarbij telt het bedrijf zowel tokens voor invoer en uitvoer als cacheverkeer mee. Ook pogingen met een lage kwaliteitsscore blijven in het gemiddelde. De maatstaf gaat dus over de volledige poging, niet alleen over het laatste antwoord van de agent.

Airbnb onderscheidt vier soorten tokens: invoer die niet uit een cache komt, gelezen cachetokens, weggeschreven cachetokens en uitvoertokens. Voor elk type geldt een eigen tarief. De kosten hangen daardoor niet alleen af van hoeveel tekst de agent genereert; ook het herhaald lezen van eerder opgeslagen context kan meetellen.

Hoe Airbnb modellen beoordeelt voordat ze in gebruik gaan

Een schema verbindt twee stappen: een vaste programmeertaak levert een kwaliteitsscore en taakkosten op; gebruikssignalen uit productie helpen vervolgens om modelinstellingen bij te stellen en opnieuw te evalueren.

Airbnb test modellen op eigen, representatieve programmeertaken. Een taak begint met de staat van een codeopslagplaats en een opdracht zoals een engineer die zou formuleren; een beoordelaar scoort het resultaat. De taken zijn gebaseerd op onder meer echte codewijzigingen, reviewopmerkingen en beslissingen die niet altijd in het oorspronkelijke ticket staan.

Het bedrijf beschrijft zeven taakreeksen en een beoordelingskader met acht gewogen onderdelen. Correctheid telt voor 25 punten; verificatie en autonomie elk voor 15. Ontwerp en aansluiting op de werklast, oordeelsvermogen, onderbouwing en rapportage, en leesbaarheid tellen elk voor 10 punten; operationele discipline voor 5. Elk onderdeel krijgt een score van 0 tot 3. Bij een autonomiescore van 0 of 0,5 kan de totaalscore niet hoger uitkomen dan 25 op 100.

Die combinatie helpt om een lage prijs niet los te zien van de kwaliteit van het werk. Bij één getest model leverde een hoge redeneerinspanning tegenover een lage 0,8 scorepunt extra op, terwijl de kosten per taak 2,5 keer zo hoog werden. Airbnb zegt dat de evaluaties voor een nieuw model binnen enkele uren eerste resultaten kunnen opleveren; de volledige scores en kosten van de taakreeksen volgen volgens het bedrijf de volgende ochtend.

Een test op één taak vertelt je wat die taak kost; gebruiksgegevens laten zien hoe vaak en met hoeveel context mensen de agent inzetten.

Wat Airbnb in productie zag

Airbnb zegt dat duizenden engineers en medewerkers in aanverwante technische functies AirChat wekelijks gebruiken. Verzoeken gaan via de eigen LLM-gateway naar Amazon Bedrock. Dat gebruik voegt factoren toe die een vaste test niet vangt: de frequentie van verzoeken en de hoeveelheid context die tijdens langere sessies opnieuw wordt gelezen.

In een productievergelijking kostten verzoeken met model A volgens Airbnb ongeveer drie keer zoveel als verzoeken met het voorgaande model. De gemiddelde gebruiker deed ook ongeveer drie keer zoveel verzoeken; de gemiddelde weekuitgaven per gebruiker waren daardoor meerdere keren hoger. Airbnb schreef het grootste deel van de kosten van model A toe aan opnieuw gelezen cachecontext tijdens lange, zelfstandige sessies. Uitvoertokens vormden ongeveer een tiende van de kosten per verzoek.

In een evaluatie van dezelfde taken met dezelfde beoordelaar scoorde een nieuwer model volgens Airbnb hoger dan model A, terwijl de kosten per taak ongeveer een zesde bedroegen. Nadat Airbnb intensieve gebruikers naar dat model had overgezet, daalden hun uitgaven aan hun belangrijkste model in de eerste volledige week tot ongeveer een zevende van het eerdere niveau. Het aantal verzoeken bleef daarbij ongeveer gelijk.

Airbnb gebruikt productiegegevens ook om te zien waar veranderingen vandaan komen. Het volgt via Amazon CloudWatch onder meer de reactietijd, de tijd tot het eerste token, uitvoertokens, throttling en het geschatte quotagebruik. De gateway registreert daarnaast model, client, team en gebruiker; Airbnb gebruikt die gegevens in geaggregeerde vorm voor kosten- en capaciteitsplanning.

Waarom tokenkosten en quotagebruik verschillen

Een kostenoverzicht en een quotacontrole meten niet hetzelfde. Volgens Airbnb tellen cachelezingen niet mee bij de eerste quotatoewijzing. Die reservering houdt wel rekening met invoer buiten de cache, cachewrites en de ingestelde maximale uitvoerlengte. De afrekencategorieën en de reservering bij toelating van verzoeken kunnen daardoor uiteenlopen; bovendien verschilt de wegingsfactor voor uitvoertokens per model.

In een rekenvoorbeeld van Airbnb tellen 600 invoertokens en een maximum van 4.096 uitvoertokens samen als een reservering van 4.696 tokens. Wordt het maximum verlaagd naar 1.024, dan is de reservering 1.624 tokens, ongeveer 65 procent kleiner. Als het werkelijke aantal invoer- en uitvoertokens gelijk blijft, verandert de uiteindelijke quotaconsumptie volgens die uitleg niet mee met de lagere reservering.

Airbnb merkt ook op dat invocation logging standaard uitstaat en volledige prompts, antwoorden en de identiteit van de aanroeper kan bevatten. Het bedrijf adviseert de toegang tot zulke logs te beperken en een bewaartermijn in te stellen.