Per ridurre i costi di un flusso di IA generativa, misura quante richieste risolvono le regole e quanto costa ciascun percorso; poi confronta i risultati senza sacrificare qualità, latenza o conformità. AWS distingue il codice deterministico per i controlli verificabili, le decisioni vincolate per le scelte a opzioni fisse e i modelli generativi dimensionati per il lavoro aperto. La guida presenta questa architettura come criterio di progettazione, non come risparmio misurato (AWS).

Come confrontare i costi del flusso

Per un’attività di classificazione, confronta il costo di affidare tutte le richieste al modello con quello di eseguire prima le regole e passare le richieste irrisolte a una decisione vincolata:

N × C_M a confronto con N × C_R + N × (1 − r) × C_D

  • N è il numero di richieste.
  • r è la quota risolta dalle regole, misurata sul tuo carico di lavoro.
  • C_M è il costo per richiesta della classificazione tramite modello.
  • C_R è il costo per richiesta dell’esecuzione delle regole.
  • C_D è il costo per richiesta della decisione vincolata sulle richieste che le regole non risolvono.

Aggiungi a ciascun percorso i costi di infrastruttura, valutazione e gestione che gli competono. Se una decisione vincolata può inoltrare alcuni casi alla generazione, considera anche il costo di quelle decisioni e delle successive chiamate generative. Per un flusso che genera testo, il calcolo deve tenere conto anche dei token in ingresso e in uscita e delle tariffe applicabili al modello e al servizio. Il confronto non produce un risultato in euro finché non inserisci i costi e i volumi effettivi del tuo sistema.

Nell’esempio di AWS, le regole risolvono il 95% delle richieste e una su venti arriva al modello. È un’ipotesi aritmetica illustrativa, non una misura di risparmio: per stimare il proprio caso, un team deve rilevare la quota che le regole gestiscono davvero.

Misura quante richieste una regola risolve davvero: è quel dato, insieme al costo degli altri percorsi, a rendere confrontabile il flusso.

Quale attività affidare al codice, a una decisione o a un modello?

Il tipo di lavoro determina quale percorso provare per primo. Un formato controllabile o un intervallo numerico si presta al codice; una scelta tra categorie definite può richiedere un metodo decisionale vincolato; la stesura di una risposta resta un compito generativo.

AttivitàPercorsoPerché si adattaAspetto da valutare
Controllare formati, schemi, parole chiave o intervalli numericiCodice deterministicoLa regola può verificare condizioni espliciteMisura la quota di casi che la regola risolve senza errori
Assegnare una richiesta a un intento o a una coda predefinitaDecisione vincolataLa risposta deve rientrare in un insieme limitato di sceltePrevedi un’opzione di incertezza e una regola di escalation
Estrarre un dato da testo variabile o preparare una risposta apertaModello generativo dimensionato per il compitoIl contenuto richiede interpretazione o formulazioneValuta qualità, costo e latenza sul compito effettivo

In un flusso di assistenza, per esempio, il codice può verificare il formato dell’ordine e controllare schemi di tracciamento definiti e revisionati. L’instradamento dell’intento può usare un percorso rapido seguito da una decisione vincolata; l’assegnazione a una coda è una scelta fra alternative fisse. La stesura della risposta al cliente, invece, è lavoro aperto per un modello.

AWS indica tra le opzioni per le decisioni a scelta fissa gli output strutturati, la similarità tra embedding, il modello sperimentale Strands Decider e un classificatore addestrato. Le soglie d’incertezza e i criteri per inoltrare un caso a un altro percorso vanno valutati su dati etichettati, cioè esempi per cui la risposta corretta è già nota. Per le regole configurabili, AWS raccomanda di consentire primitive note e di non eseguire codice arbitrario caricato da file di configurazione.

In termini generali, AWS descrive il codice deterministico come molto meno costoso per invocazione e con tempi di esecuzione dell’ordine di pochi millisecondi o inferiori, mentre le chiamate ai modelli possono richiedere centinaia di millisecondi. La differenza concreta dipende dal carico e dai percorsi confrontati: misurali sul tuo sistema.

Quali costi considerare oltre alle chiamate al modello?

Cloud With Raj illustra in inglese temi di ottimizzazione che vanno dalla gestione del contesto al batching, dalla cache semantica alla pulizia RAG e alle scelte infrastrutturali.

Il routing è una parte del conto. Gestione del contesto, batching, cache semantica, pulizia dei documenti usati per il recupero RAG, scelta del vector store e infrastruttura sono altri aspetti da valutare. Anche distillazione e modelli linguistici più piccoli fanno parte delle aree affrontate da Cloud With Raj nel suo walkthrough in inglese.

Queste voci appartengono a livelli diversi dell’architettura: il contesto e il batching riguardano il modo in cui vengono preparate le richieste; il recupero e il vector store riguardano i dati che alimentano il flusso. Per confrontare le opzioni, contabilizza le spese di ciascun livello senza attribuire al solo routing ogni eventuale variazione del costo totale.

Come valutare costi, qualità e latenza insieme

Prima di cambiare percorso o modello, definisci una soglia minima di qualità, un tetto di costo, un obiettivo di latenza e i vincoli di conformità. AWS consiglia di valutare le alternative su un insieme di esempi etichettati specifico per il compito, monitorare i cambiamenti nei risultati e mantenere una possibilità di ripristino.

Misura il costo per esito riuscito, non soltanto il costo per chiamata: una strada meno cara per richiesta non conviene se produce risposte che non superano la soglia di qualità o se non rispetta i requisiti di latenza e conformità.