Verlaag de kosten van generatieve AI door eerst te meten welke aanvragen regels kunnen afhandelen en wat elke resterende route kost. Voor een classificatietaak vergelijk je N × C_M met N × C_R + N × (1 − r) × C_D: de kosten van een modelclassificatie tegenover een regelroute met een beslisstap voor de niet-afgevangen aanvragen. AWS adviseert code voor controleerbare regels, een beperkte beslisroute voor vaste keuzes en een passend generatief model voor open werk. AWS
Gebruik je eigen gemeten aanvraagmix en kosten per route; een voorbeeldpercentage is geen voorspelling voor jouw workflow.
Hoe bereken je de kosten per workflowroute?
In de formule staat N voor het aantal aanvragen, r voor het gemeten aandeel dat regels afhandelen, C_M voor de kosten per modelclassificatie, C_R voor de kosten per regeluitvoering en C_D voor de kosten van een beperkte beslissing over een aanvraag die de regels niet oplossen. De vergelijking veronderstelt dat elke niet-afgevangen aanvraag naar die beslisroute gaat.
Tel eventuele verschillen in infrastructuur, evaluatie en beheer apart mee. Als de beslisroute sommige aanvragen alsnog naar een generatief model stuurt, voeg dan voor die gevallen zowel de besliskosten als de generatiekosten toe. Met de eigen aanvraagvolumes en kosten per route levert de berekening een vergelijking op; zonder die invoer is er geen onderbouwde besparing in euro’s om uit af te leiden.
AWS noemt een voorbeeld waarin regels 95% van de aanvragen afhandelen en één op de twintig bij een model terechtkomt. Dat is illustratieve rekenkunde, geen gemeten resultaat. In een echte workflow moet je dus het aandeel meten dat jouw regels daadwerkelijk oplossen.
Welke taken passen bij regels, vaste keuzes of een model?
Gebruik gewone code voor uitkomsten die met vaste controles te bepalen zijn, zoals een formaat, schema, trefwoord of getal binnen een afgesproken bereik. Als de taak vraagt om één keuze uit een beperkte set en een regel die keuze niet veilig kan maken, past een begrensde beslismethode. Laat open antwoorden, zoals het opstellen van een reactie, over aan een generatief model dat bij de taak past.
| Taak in de workflow | Passende route | Waarom dit past | Praktische afweging |
| Formaat, schema of bereik controleren | Deterministische code | De uitkomst volgt uit controleerbare voorwaarden. | Houd autorisatie- en bereikcontroles in code. |
| Een aanvraag naar een intentie of wachtrij leiden | Beperkte beslissing | De uitkomst is een keuze uit vooraf bepaalde opties. | Meet onzekerheid en stel vast wanneer een aanvraag moet worden opgeschaald. |
| Een antwoord opstellen | Generatief model | De taak vraagt om open tekst in plaats van een vaste keuze. | Kies een model dat voldoet aan de kwaliteitseisen van de taak. |
AWS beschrijft een supportworkflow waarin code ordergegevens en gecontroleerde patronen voor trackingnummers valideert, een snelle route en beslisstap aanvragen naar een intentie leidt, een beperkte keuze de juiste wachtrij bepaalt en een model een antwoord opstelt. Zo blijft genereren voorbehouden aan het deel van het werk dat daadwerkelijk open tekst vraagt.
Voor vaste keuzes noemt AWS onder meer gestructureerde uitvoer met een optie voor ‘onzeker’, embeddingovereenkomst, een getrainde classifier en Strands Decider, dat AWS als experimenteel beschrijft. Controleer drempelwaarden en signalen voor opschaling met gelabelde voorbeelden uit de eigen taak. AWS beschrijft deterministische code doorgaans als veel goedkoper per uitvoering en met een looptijd van enkele milliseconden of minder, tegenover modelkosten per token en vaak honderden milliseconden. Dat is een algemene vergelijking, geen prestatiegarantie voor een specifieke workflow.
Welke kosten spelen mee buiten modelaanroepen?
Contextbeheer, het bundelen van verwante taken, semantisch cachen, het opschonen van documenten voor RAG en keuzes rond vectoropslag en infrastructuur zijn andere plekken om kosten te onderzoeken. RAG is een aanpak waarbij een model informatie uit een externe kennisverzameling ophaalt voordat het antwoord geeft. Modelverkleining door distillatie is nog een onderwerp om mee te nemen; de juiste afweging hangt af van de eisen aan de taak.
Hoe bewaak je kwaliteit, snelheid en naleving?
Bepaal vóór een routewijziging welke minimale kwaliteit nodig is, hoeveel de route maximaal mag kosten, welke latency acceptabel is en welke compliance-eisen gelden. AWS adviseert kandidaten te evalueren met gelabelde voorbeelden die bij de taak passen, kosten per geslaagd resultaat te volgen en wijzigingen terug te kunnen draaien. Blijf ook controleren op drift: veranderingen in invoer of gebruik kunnen de prestaties van een eerder passende route aantasten.