Per ridurre i costi di un flusso di IA generativa, misura quante richieste risolvono le regole e quanto costa ciascun percorso; poi confronta i risultati senza sacrificare qualità, latenza o conformità. AWS distingue il codice deterministico per i controlli verificabili, le decisioni vincolate per le scelte a opzioni fisse e i modelli generativi dimensionati per il lavoro aperto. La guida presenta questa architettura come criterio di progettazione, non come risparmio misurato (AWS).
Come confrontare i costi del flusso
Per un’attività di classificazione, confronta il costo di affidare tutte le richieste al modello con quello di eseguire prima le regole e passare le richieste irrisolte a una decisione vincolata:
N × C_M a confronto con N × C_R + N × (1 − r) × C_D
Nè il numero di richieste.rè la quota risolta dalle regole, misurata sul tuo carico di lavoro.C_Mè il costo per richiesta della classificazione tramite modello.C_Rè il costo per richiesta dell’esecuzione delle regole.C_Dè il costo per richiesta della decisione vincolata sulle richieste che le regole non risolvono.
Aggiungi a ciascun percorso i costi di infrastruttura, valutazione e gestione che gli competono. Se una decisione vincolata può inoltrare alcuni casi alla generazione, considera anche il costo di quelle decisioni e delle successive chiamate generative. Per un flusso che genera testo, il calcolo deve tenere conto anche dei token in ingresso e in uscita e delle tariffe applicabili al modello e al servizio. Il confronto non produce un risultato in euro finché non inserisci i costi e i volumi effettivi del tuo sistema.
Nell’esempio di AWS, le regole risolvono il 95% delle richieste e una su venti arriva al modello. È un’ipotesi aritmetica illustrativa, non una misura di risparmio: per stimare il proprio caso, un team deve rilevare la quota che le regole gestiscono davvero.
Misura quante richieste una regola risolve davvero: è quel dato, insieme al costo degli altri percorsi, a rendere confrontabile il flusso.
Quale attività affidare al codice, a una decisione o a un modello?
Il tipo di lavoro determina quale percorso provare per primo. Un formato controllabile o un intervallo numerico si presta al codice; una scelta tra categorie definite può richiedere un metodo decisionale vincolato; la stesura di una risposta resta un compito generativo.
| Attività | Percorso | Perché si adatta | Aspetto da valutare |
| Controllare formati, schemi, parole chiave o intervalli numerici | Codice deterministico | La regola può verificare condizioni esplicite | Misura la quota di casi che la regola risolve senza errori |
| Assegnare una richiesta a un intento o a una coda predefinita | Decisione vincolata | La risposta deve rientrare in un insieme limitato di scelte | Prevedi un’opzione di incertezza e una regola di escalation |
| Estrarre un dato da testo variabile o preparare una risposta aperta | Modello generativo dimensionato per il compito | Il contenuto richiede interpretazione o formulazione | Valuta qualità, costo e latenza sul compito effettivo |
In un flusso di assistenza, per esempio, il codice può verificare il formato dell’ordine e controllare schemi di tracciamento definiti e revisionati. L’instradamento dell’intento può usare un percorso rapido seguito da una decisione vincolata; l’assegnazione a una coda è una scelta fra alternative fisse. La stesura della risposta al cliente, invece, è lavoro aperto per un modello.
AWS indica tra le opzioni per le decisioni a scelta fissa gli output strutturati, la similarità tra embedding, il modello sperimentale Strands Decider e un classificatore addestrato. Le soglie d’incertezza e i criteri per inoltrare un caso a un altro percorso vanno valutati su dati etichettati, cioè esempi per cui la risposta corretta è già nota. Per le regole configurabili, AWS raccomanda di consentire primitive note e di non eseguire codice arbitrario caricato da file di configurazione.
In termini generali, AWS descrive il codice deterministico come molto meno costoso per invocazione e con tempi di esecuzione dell’ordine di pochi millisecondi o inferiori, mentre le chiamate ai modelli possono richiedere centinaia di millisecondi. La differenza concreta dipende dal carico e dai percorsi confrontati: misurali sul tuo sistema.
Quali costi considerare oltre alle chiamate al modello?
Il routing è una parte del conto. Gestione del contesto, batching, cache semantica, pulizia dei documenti usati per il recupero RAG, scelta del vector store e infrastruttura sono altri aspetti da valutare. Anche distillazione e modelli linguistici più piccoli fanno parte delle aree affrontate da Cloud With Raj nel suo walkthrough in inglese.
Queste voci appartengono a livelli diversi dell’architettura: il contesto e il batching riguardano il modo in cui vengono preparate le richieste; il recupero e il vector store riguardano i dati che alimentano il flusso. Per confrontare le opzioni, contabilizza le spese di ciascun livello senza attribuire al solo routing ogni eventuale variazione del costo totale.
Come valutare costi, qualità e latenza insieme
Prima di cambiare percorso o modello, definisci una soglia minima di qualità, un tetto di costo, un obiettivo di latenza e i vincoli di conformità. AWS consiglia di valutare le alternative su un insieme di esempi etichettati specifico per il compito, monitorare i cambiamenti nei risultati e mantenere una possibilità di ripristino.
Misura il costo per esito riuscito, non soltanto il costo per chiamata: una strada meno cara per richiesta non conviene se produce risposte che non superano la soglia di qualità o se non rispetta i requisiti di latenza e conformità.