Airbnb bewertet Coding-Agenten anhand der Qualität erledigter Engineering-Aufgaben und der Tokenkosten zum Listenpreis. Die Fallstudie im AWS Machine Learning Blog beschreibt, wie das Unternehmen diese Testergebnisse mit Nutzungsdaten aus dem Betrieb abgleicht, bevor es Modellvorgaben oder Grenzen für den Reasoning-Aufwand anpasst.

Wie Airbnb Kosten pro Aufgabe berechnet

Airbnb zählt zu den Kosten einer Aufgabe den Listenpreis aller Tokens, die der Agent über sämtliche benötigten Anfragen hinweg verbraucht. Die Durchschnittswerte schließen auch Versuche mit niedriger Bewertung ein. So erfasst die Kennzahl nicht nur den Preis einer einzelnen Anfrage, sondern die Kosten bis zum Abschluss der Aufgabe.

Airbnb stellt diese Kosten einem Qualitätswert gegenüber, den ein Bewertungssystem für die erledigte Aufgabe vergibt. Die beiden Werte beantworten unterschiedliche Fragen: Wie gut ist das Ergebnis, und wie viele Tokens waren nötig, um dorthin zu gelangen?

Wie Airbnb Modelle vor dem Einsatz bewertet

Ein Ablaufdiagramm verbindet eine feste Coding-Aufgabenbewertung mit Produktionsmessungen zu Anfragen, Tokenarten, Latenz und Drosselungen. Die Ergebnisse führen zu angepassten Modelleinstellungen und zurück in den nächsten Bewertungszyklus.

Airbnb prüft Modelle mit eigenen, repräsentativen Engineering-Aufgaben. Jede Aufgabe beginnt mit einem bestimmten Repository-Stand und einer Anweisung, wie sie ein Entwickler erhalten könnte; anschließend bewertet ein Prüfsystem das Ergebnis. Die Aufgaben beruhen laut Airbnb unter anderem auf tatsächlichen Codeänderungen, Review-Kommentaren und Entscheidungen, die nicht ausdrücklich im ursprünglichen Ticket standen.

Das Unternehmen beschreibt sieben Aufgabensammlungen und eine Bewertungsmethode mit acht gewichteten Kriterien: Korrektheit (25), Verifikation (15), Autonomie (15), Design und Passung zur Arbeitslast (10), Urteilsvermögen (10), Belege und Berichterstattung (10), Lesbarkeit (10) sowie Betriebsdisziplin (5). Jedes Kriterium erhält einen Wert von 0 bis 3. Liegt die Autonomie bei 0 oder 0,5, ist die Gesamtwertung auf 25 von 100 Punkten begrenzt.

Airbnb vergleicht die Qualität und Aufgabenkosten für verschiedene Modelle, Einstellungen zum Reasoning-Aufwand und getestete Agenten-Clients. Bei einem nicht näher bezeichneten Modell erhöhte ein Wechsel von niedrigem zu hohem Reasoning-Aufwand den Wert laut Airbnb um 0,8 Punkte; zugleich stiegen die Kosten pro Aufgabe auf das 2,5-Fache. Solche Ergebnisse helfen dem Unternehmen, Voreinstellungen und Obergrenzen für den Aufwand festzulegen.

Warum Testergebnisse im Betrieb anders ausfallen

Ein fester Aufgabentest bildet nicht ab, wie häufig Menschen den Agenten im Alltag ansprechen oder wie viele Tokens lange Sitzungen verbrauchen. Airbnb zufolge nutzen jede Woche Tausende Ingenieure und Beschäftigte aus angrenzenden technischen Bereichen AirChat. Die Anfragen laufen über ein eigenes LLM-Gateway zu Amazon Bedrock.

In einem Produktionsvergleich kosteten Anfragen mit Modell A laut Airbnb ungefähr dreimal so viel wie Anfragen mit dem Vorgängermodell. Die durchschnittliche Zahl der Anfragen pro Nutzer lag ebenfalls etwa dreimal so hoch; die durchschnittlichen wöchentlichen Ausgaben pro Nutzer waren damit laut Unternehmen um ein Mehrfaches höher. Output-Tokens machten nach Airbnbs Darstellung ungefähr ein Zehntel der Kosten einer Anfrage aus. Den größten Anteil führte das Unternehmen auf wiederholt gelesenen Cache-Kontext in langen, selbstgesteuerten Sitzungen zurück.

Airbnb berichtet außerdem, dass ein neueres, nicht näher bezeichnetes Modell bei denselben Aufgaben und mit demselben Bewertungssystem besser abschnitt als Modell A, während die Kosten pro Aufgabe ungefähr ein Sechstel betrugen. Nach dem Wechsel besonders intensiver Nutzer sank deren Ausgabe für ihr Hauptmodell in der ersten vollständigen Woche laut Airbnb auf etwa ein Siebtel; die Zahl der Anfragen blieb ungefähr gleich.

Ein Modellvergleich wird aussagekräftiger, wenn Qualität und Kosten pro abgeschlossener Aufgabe neben Anfragehäufigkeit und Tokenverbrauch im Betrieb stehen.

Für den laufenden Betrieb erfasst Airbnb unter anderem Latenz, Zeit bis zum ersten Token, Output-Tokens, Drosselungen und geschätzten Kontingentverbrauch. Über sein Gateway ordnet das Unternehmen außerdem Modell, Client, Team und Nutzer zu und verwendet diese Daten aggregiert für Kosten- und Kapazitätsplanung.

Warum Tokenkosten und Kontingentverbrauch auseinandergehen

Airbnb unterscheidet vier separat bepreiste Tokenarten: nicht gecachten Input, Cache-Lesezugriffe, Cache-Schreibvorgänge und Output. Bei der Kontingentprüfung gelten andere Regeln als bei der Abrechnung: Die anfängliche Reservierung berücksichtigt nicht gecachten Input, Cache-Schreibvorgänge und den maximal möglichen Output (max_tokens). Cache-Lesezugriffe zählen nicht zu dieser Reservierung; außerdem kann der Verbrauch von Output-Tokens je nach Modell unterschiedlich gewichtet werden.

Deshalb müssen angezeigte Tokenkosten und die Zulassung von Anfragen nicht denselben Kontingentverbrauch ergeben. In einem von Airbnb beschriebenen Beispiel mit einer Million Tokens pro Minute und 300 Anfragen pro Minute zeigte das Dashboard ungefähr 30 Prozent Verbrauch. Mit einem angenommenen Verhältnis von fünf zu eins für den Output-Token-Verbrauch kam Airbnbs Schätzung dagegen auf etwa 77 Prozent.

Auch die Obergrenze max_tokens beeinflusst, wie viel Kontingent eine Anfrage zunächst reserviert. Bei 600 Input-Tokens und einem Wert von 4.096 ergibt sich eine Reservierung von 4.696 Tokens. Senkt Airbnb den Höchstwert auf 1.024, sind es 1.624 Tokens, rund 65 Prozent weniger Reservierung. Bleiben Input und tatsächlicher Output gleich, ändert sich dadurch der endgültige Kontingentverbrauch nicht.