Airbnb confronta il punteggio di qualità di un coding agent con il costo di tutti i token necessari a completare un’attività, poi mette questi risultati a confronto con l’uso in produzione. Il metodo, descritto dall’azienda in un caso pubblicato da AWS il 18 novembre 2026, serve a valutare insieme il lavoro svolto e il modo in cui le persone usano gli agenti.

Per scegliere un coding agent, misura insieme la qualità del risultato, il costo per attività e il comportamento in produzione.

Che cosa comprende il costo di un’attività

Per Airbnb, il costo per attività è la spesa calcolata ai prezzi di listino per tutti i token consumati nelle richieste necessarie a portare a termine un compito. Il calcolo include quattro categorie, ciascuna con la propria tariffa: token di input non memorizzati nella cache, letture della cache, scritture nella cache e token di output. Anche i tentativi con punteggi di qualità bassi restano nella media.

Questo conteggio si abbina a un voto assegnato da un valutatore, così una risposta economica ma incompleta non viene scambiata per un risultato migliore. Un test su un compito preparato risponde a una domanda precisa: quanto costa e quanto bene il modello affronta quel lavoro? Da solo, però, non descrive quante richieste farà una persona durante una sessione reale.

Come Airbnb valuta i modelli prima del rilascio

Schema concettuale: il punteggio di qualità e il costo di un’attività alimentano la valutazione di un coding agent; i segnali d’uso in produzione guidano le impostazioni successive e un nuovo ciclo di valutazione.

Airbnb costruisce le prove a partire da attività rappresentative del lavoro ingegneristico: ciascuna parte dallo stato iniziale di un repository e da un prompt simile a una richiesta di un ingegnere, poi un valutatore esamina il risultato. L’azienda descrive sette gruppi di attività e dice di poter ottenere i primi risultati entro poche ore, con punteggi e costi completi entro la mattina seguente.

La griglia valuta otto dimensioni: correttezza, verifica, autonomia, adeguatezza del progetto al lavoro, giudizio, qualità delle evidenze e della rendicontazione, leggibilità e disciplina operativa. Ogni dimensione riceve un voto da 0 a 3, con pesi diversi; se il punteggio di autonomia è 0 o 0,5, il totale non può superare 25 su 100.

Il livello di ragionamento può cambiare il compromesso tra qualità e spesa. In una prova su un modello non nominato, Airbnb riferisce che passare da un livello basso a uno alto ha aumentato il punteggio di 0,8 punti e il costo per attività di 2,5 volte. Questi risultati aiutano l’azienda a decidere le impostazioni predefinite e i limiti al livello di ragionamento.

Che cosa Airbnb ha osservato dopo il rilascio di model A

Airbnb riferisce che, nel confronto con il modello precedente, le richieste a model A costavano circa tre volte tanto e gli utenti medi inviavano circa tre volte più richieste. La spesa settimanale media per utente è risultata diverse volte superiore. Secondo l’azienda, i token di output rappresentavano circa un decimo del costo di una richiesta; la parte maggiore era legata al contesto in cache riletto durante sessioni lunghe e autonome.

Il confronto tra test e produzione ha portato Airbnb a rivedere le proprie scelte. Nelle valutazioni sulle stesse attività e con lo stesso valutatore, un modello successivo non nominato ha ottenuto un punteggio più alto di model A con un costo per attività pari a circa un sesto. Dopo aver trasferito a quel modello gli utenti più intensivi di model A, Airbnb ha registrato nella loro prima settimana completa una spesa sul modello principale pari a circa un settimo, con un numero di richieste all’incirca simile.

Sono risultati riferiti da Airbnb per le proprie valutazioni e per il proprio gruppo di utenti. Mostrano perché il costo del singolo compito e il volume d’uso vanno considerati insieme: anche quando un’attività costa meno nei test, in produzione incidono la frequenza delle richieste e la quantità di contesto riletta. Il post cita migliaia di ingegneri e collaboratori in ruoli vicini all’ingegneria che usano AirChat ogni settimana; le richieste passano dal gateway interno di Airbnb ad Amazon Bedrock.

Perché costi dei token e uso della quota non coincidono

Il costo dei token e la quota di capacità rispondono a calcoli diversi. Nel resoconto di Airbnb, la prenotazione iniziale della quota considera l’input non memorizzato nella cache, le scritture nella cache e il valore massimo di output impostato con max_tokens; le letture della cache non rientrano nella prenotazione. Inoltre, il consumo attribuito ai token di output può variare da un modello all’altro.

Un esempio chiarisce l’effetto di max_tokens: con 600 token di input e un limite di output di 4.096, la prenotazione è di 4.696 token per richiesta. Abbassando il limite a 1.024, scende a 1.624 token, circa il 65% in meno. Se input e output effettivi restano gli stessi, il consumo finale della quota non cambia: si riduce la capacità riservata in partenza, non il lavoro effettivamente svolto.

Perciò un totale di token fatturati e una stima della quota disponibile possono non coincidere. Airbnb affianca il monitoraggio dei token a segnali di Amazon CloudWatch come latenza, attesa prima del primo token, limitazioni delle richieste e uso stimato della quota. Per il costo operativo, il gruppo segue anche modello, client, team e utente attraverso il proprio gateway.

Airbnb raccomanda inoltre di eseguire gli agenti in spazi di lavoro isolati, verificare le modifiche generate prima dell’integrazione e definire quali azioni possono compiere e quando serve una revisione umana. L’azienda segnala anche che i log delle invocazioni possono contenere prompt, risposte e identità di chi ha effettuato la chiamata: ne consiglia l’accesso limitato e tempi di conservazione definiti.