Teams können die Kosten für generative KI senken, indem sie für ihren eigenen Workflow messen, welche Aufgaben Regeln erledigen und was jede verbleibende Route kostet. AWS unterscheidet deterministischen Code für prüfbare Regeln, eingeschränkte Entscheidungen für feste Auswahlmöglichkeiten und passend dimensionierte Modelle für offene Aufgaben. Die Kostenformel für einen Vergleich macht diese Größen sichtbar; sie liefert erst mit Messwerten aus dem eigenen Betrieb ein Ergebnis. AWS beschreibt diese drei Wege und ein ausdrücklich illustratives 95-Prozent-Beispiel.
Prüfen Sie zuerst, ob ein Schritt überhaupt ein Modell braucht. Rechnen Sie danach die Kosten der verbleibenden Wege mit den Messwerten Ihres Workflows durch.
Wie lassen sich die Kosten eines KI-Workflows vergleichen?
Für einen Klassifikations-Workflow lässt sich der vollständig modellbasierte Weg mit einer Kombination aus Regeln und eingeschränkten Entscheidungen vergleichen:
- Nur Modellklassifikation:
N × C_M - Regelpfad mit Entscheidung für offene Fälle:
N × C_R + N × (1 − r) × C_D
Dabei steht N für die Zahl der Anfragen, r für den gemessenen Anteil, den Regeln lösen, C_M für die Kosten einer Modellklassifikation, C_R für die Kosten einer Regelausführung und C_D für die Kosten einer eingeschränkten Entscheidung bei einer Anfrage, die die Regeln nicht klären.
Die Rechnung vergleicht gleichartige Aufgaben. Unterschiedliche Infrastruktur-, Evaluierungs- und Betriebskosten müssen jeweils auf der passenden Seite zusätzlich berücksichtigt werden. Wenn eine eingeschränkte Entscheidung manche Fälle an ein generatives Modell weiterleitet, gehören auch diese Entscheidungsschritte und die Kosten der zusätzlichen Generierung in die Rechnung.
Für die Praxis zählt nicht nur der Preis pro Aufruf: AWS empfiehlt, die Kosten pro erfolgreichem Ergebnis zu betrachten. Dafür müssen Sie neben den Ausgaben auch messen, wie oft die jeweilige Route die Aufgabe korrekt löst und wie oft sie eskaliert.
AWS’ Beispiel, in dem Regeln 95 Prozent der Anfragen lösen und damit eine von 20 Anfragen ein Modell erreicht, ist eine Veranschaulichung der Rechnung. Die 95 Prozent sind kein gemessener Einsparwert für einen typischen Workflow.
Welche Aufgaben eignen sich für Regeln, Entscheidungen oder Modelle?
Prüfbare Eingaben lassen sich oft mit deterministischem Code kontrollieren; feste Auswahlaufgaben können ein eingeschränktes Entscheidungsverfahren nutzen. Für offene Aufgaben wie das Formulieren einer Antwort bleibt ein passend dimensioniertes generatives Modell die geeignete Route.
| Aufgabe im Workflow | Ausführungsweg | Warum er passt | Worauf es ankommt |
| Format, Schema, Schlüsselwort oder Zahlenbereich prüfen | Deterministischer Code | Das Ergebnis folgt klaren, vorab festgelegten Regeln. | Regeln anhand realer Eingaben prüfen und Ausnahmen behandeln. |
| Eine Anfrage einer festen Kategorie zuordnen | Eingeschränkte Entscheidung | Die Auswahl ist begrenzt, aber eine einzelne Regel reicht nicht immer aus. | Unsichere Fälle erkennen und nötigenfalls eskalieren. |
| Eine offene Antwort formulieren | Generatives Modell | Die Aufgabe verlangt freie Sprache statt einer Prüfung oder Auswahl aus festen Optionen. | Modellgröße an Qualitätsziel, Kosten und Latenz ausrichten. |
AWS nennt für Regeln unter anderem prüfbare Formate, Schemata, Schlüsselwörter und Zahlenbereiche. Bei festen Auswahlmöglichkeiten führt die Empfehlung zu einer eingeschränkten Entscheidung; für offene Aufgaben bleibt die Generierung durch ein Modell vorgesehen. AWS beschreibt deterministischen Code allgemein als meist günstiger pro Aufruf und mit Latenzen im einstelligen Millisekundenbereich oder darunter. Modellaufrufe werden dagegen pro Token abgerechnet und liegen bei der Latenz laut AWS allgemein im Bereich von Hunderten Millisekunden.
Wie sieht die Aufteilung in einem Support-Workflow aus?
In einem Support-Assistenten können Formatprüfungen von Bestellungen und geprüfte Muster für Sendungsnummern per Code laufen. Bei der Zuordnung einer Anfrage kann ein schneller Regelpfad einfache Fälle abfangen; für die übrigen Fälle folgt eine eingeschränkte Entscheidung. Die Auswahl einer Support-Warteschlange ist ebenfalls eine feste Auswahlaufgabe. Das Formulieren einer Antwort bleibt eine offene Sprachaufgabe für ein generatives Modell.
Für feste Auswahlmöglichkeiten nennt AWS strukturierte Ausgaben mit einer Option für „unsicher“, Ähnlichkeitssuche über Einbettungen, den experimentellen Strands Decider und einen trainierten Klassifikator. Schwellenwerte und Eskalationssignale sollten anhand beschrifteter, aufgabenspezifischer Daten geprüft werden. Regeln für Berechtigungen und zulässige Werte gehören in Code; Konfigurationsdateien sollten keinen beliebigen ausführbaren Code starten.
Welche Kosten entstehen neben den Modellaufrufen?
Auch Kontextlänge, Stapelverarbeitung, semantisches Caching, die Pflege von RAG-Dokumenten, die Wahl des Vektorspeichers und der Infrastruktur können bei der Kostenplanung eine Rolle spielen. RAG bezeichnet die Suche in externen Wissensbeständen, die einem Modell als Kontext für seine Antwort dienen. Cloud With Raj behandelt diese Themen außerdem zusammen mit Modelldestillation und kleineren Sprachmodellen in einem englischsprachigen Überblick.
Wie bleiben Qualität, Latenz und Compliance Teil der Rechnung?
Eine günstigere Route passt nur, wenn sie die Anforderungen der konkreten Aufgabe erfüllt. AWS empfiehlt, vor dem Modellvergleich eine Qualitätsuntergrenze, ein Kostenziel, ein Latenzziel und Compliance-Vorgaben festzulegen. Kandidaten lassen sich anschließend mit einem aufgabenspezifischen, beschrifteten Testsatz bewerten; für Änderungen an Modellen empfiehlt AWS außerdem Rückfallmöglichkeiten und die Überwachung auf Veränderungen im laufenden Betrieb.