Airbnb mierzy koszt agenta kodującego jako koszt tokenów zużytych we wszystkich żądaniach potrzebnych do ukończenia zadania, a wynik zestawia z oceną jakości. Następnie porównuje te testy z użyciem w produkcji, bo koszt pojedynczego zadania nie opisuje sam w sobie tego, jak często ludzie korzystają z agenta ani ile żądań wysyłają. Swoją metodę i wyniki firma opisała w wpisie opublikowanym przez AWS 18 listopada 2026 r..
Oceniaj jednocześnie jakość wykonania, koszt całego zadania i sposób, w jaki ludzie korzystają z agenta.
Co Airbnb wlicza w koszt zadania
Airbnb liczy koszt zadania według stawek katalogowych za wszystkie tokeny wykorzystane we wszystkich żądaniach potrzebnych do jego zakończenia. Średnia obejmuje również próby z niską oceną, więc słabsze wykonanie nie znika z rachunku. Firma zestawia koszt z wynikiem przyznanym przez oceniającego, zamiast porównywać modele wyłącznie na podstawie jakości albo ceny pojedynczego żądania.
W przypadku narzędzia AirChat, z którego według Airbnb korzystają co tydzień tysiące inżynierów i osób pracujących przy projektach inżynieryjnych, żądania przechodzą przez firmową bramę LLM do Amazon Bedrock. Test zaczyna się od stanu repozytorium i polecenia przypominającego zadanie inżynierskie; wynik ocenia sprawdzarka przygotowana dla danego zadania. Airbnb mówi o siedmiu zestawach zadań i o ośmiu ważonych wymiarach oceny, od poprawności i weryfikacji po czytelność oraz dyscyplinę operacyjną. Każdy wymiar otrzymuje ocenę od 0 do 3, a niska ocena samodzielności ogranicza wynik całości do 25 punktów na 100.
Jak Airbnb ocenia modele przed wdrożeniem
Airbnb porównuje ocenę jakości i koszt wykonania tych samych rodzajów zadań, zmieniając model, poziom wysiłku rozumowania lub klienta agenta. Firma podaje, że pierwsze wyniki może uzyskać w ciągu kilku godzin, a pełne wyniki i koszty wszystkich zestawów — do następnego poranka, gdy zadania są już przygotowane.
W jednym z testów zwiększenie wysiłku rozumowania z niskiego do wysokiego podniosło wynik o 0,8 punktu, ale koszt zadania był 2,5 raza wyższy. To firmowy wynik dla jednego badanego modelu. Pokazuje, dlaczego warto sprawdzać, czy dodatkowy koszt przekłada się na lepsze wykonanie konkretnego zadania.
Co użycie w produkcji ujawniło o modelu A
Testy przygotowanych zadań nie uwzględniają same z siebie częstotliwości użycia ani przebiegu dłuższych sesji. W przykładzie produkcyjnym Airbnb każde żądanie modelu A kosztowało około trzy razy więcej niż żądanie poprzedniego modelu, a przeciętny użytkownik wysyłał około trzy razy więcej żądań. Firma opisała też średni tygodniowy wydatek na użytkownika jako kilka razy wyższy.
Airbnb przypisało większość kosztu modelu A ponownie odczytywanemu kontekstowi w długich, samodzielnie prowadzonych sesjach. Tokeny wyjściowe stanowiły około jednej dziesiątej kosztu żądania. W rachunku tokenowym osobne stawki dotyczą niebuforowanych danych wejściowych, odczytu z pamięci podręcznej, zapisu do niej i danych wyjściowych. Sama liczba tokenów odpowiedzi nie wystarcza więc do oszacowania kosztu całego żądania.
W tych samych zadaniach i przy użyciu tej samej sprawdzarki nowszy, nienazwany model uzyskał wyższy wynik niż model A, a koszt zadania wyniósł około jednej szóstej kosztu modelu A. Po przeniesieniu intensywnie korzystających użytkowników na nowszy model Airbnb odnotowało w pierwszym pełnym tygodniu wydatki na ich główny model na poziomie około jednej siódmej wcześniejszych, przy zbliżonej liczbie żądań. To wynik dotyczący tej grupy i tego okresu.
Dlaczego koszt tokenów różni się od wykorzystania limitu
Koszt naliczany za tokeny i przyjmowanie żądań do limitu przepustowości opisują różne rzeczy. Według wyjaśnienia Airbnb rezerwacja limitu uwzględnia niebuforowane dane wejściowe, zapisy do pamięci podręcznej i maksymalny dopuszczony rozmiar odpowiedzi (max_tokens). Odczyty z pamięci podręcznej nie wchodzą do tej rezerwacji, a tempo zużywania limitu przez tokeny wyjściowe zależy od modelu. Dlatego zestawienie rozliczonych tokenów nie musi odpowiadać obliczeniom decydującym o przyjęciu kolejnego żądania.
W przykładzie opisanym przez Airbnb limit wynosi milion tokenów na minutę, a system obsługuje 300 żądań na minutę. Sam pulpit wskazuje około 30% wykorzystania, lecz po uwzględnieniu pięciokrotnego przelicznika zużycia tokenów wyjściowych szacowane wykorzystanie rośnie do około 77%.
Airbnb podaje też przykład rezerwacji na pojedyncze żądanie: 600 tokenów wejściowych i max_tokens równe 4096 dają rezerwację 4696 tokenów. Zmniejszenie limitu odpowiedzi do 1024 obniża ją do 1624 tokenów, czyli o około 65%. Jeśli rzeczywista liczba tokenów wejściowych i wyjściowych się nie zmieni, końcowe zużycie limitu pozostaje takie samo.
W produkcji Airbnb monitoruje między innymi opóźnienie, czas do pierwszego tokenu, liczbę tokenów wyjściowych, dławienie żądań i szacowane zużycie limitu. Brama firmy zapisuje też model, klienta, zespół i użytkownika, by analizować koszty oraz planować przepustowość w ujęciu zbiorczym.