Für explizites Prompt-Caching in Amazon Bedrock brauchst du in AWS’ Chat-Completions-Beispiel sowohl prompt_cache_options im Modus explicit als auch einen prompt_cache_breakpoint an einem Textabschnitt. Wähle anschließend ein Modell und eine API, die Caching unterstützen, und prüfe in den Nutzungsdaten, ob Bedrock tatsächlich Cache-Tokens gelesen oder geschrieben hat. AWS’ Anleitung für Open-Weight-Modelle
Markiere nur den stabilen Teil des Prompts als wiederverwendbares Präfix; die wechselnde Frage gehört dahinter.
Voraussetzungen und Modellwahl
Prüfe vor der Implementierung, ob die gewünschte API zum Modell passt. Die AWS-Modellkarten nennen für Kimi K3 und GLM 5.3 unterschiedliche Mindestlängen und API-Unterstützung:
| Modell | Mindestlänge des Checkpoints | Mindestaufbewahrung | APIs mit explizitem Caching |
| Kimi K3 | 256 Tokens | Mindestens 30 Minuten | Responses, Chat Completions und InvokeModel; nicht Converse |
| GLM 5.3 | 1.024 Tokens | Mindestens 30 Minuten | Responses und Chat Completions |
Die Kimi-K3-Modellkarte empfiehlt Chat Completions für neue Anwendungen mit diesem Modell. GLM 5.3 ist nur für berechtigte Kunden über ein US-geografisches oder globales Cross-Region-Inferenzprofil verfügbar; Inferenz auf Abruf innerhalb einer einzelnen Region wird nicht unterstützt. Die GLM-5.3-Modellkarte
Für die Chat-Completions-Anleitung nennt AWS Python 3.12, das OpenAI Python SDK ab Version 3.26.0 und aws-bedrock-token-generator ab Version 1.1.0. Außerdem brauchst du ein AWS-Konto mit Zugriff auf das Modell und den nötigen Aufrufberechtigungen. Der von der Anleitung erzeugte Bedrock-API-Schlüssel ist kurzlebig und bis zu zwölf Stunden gültig. AWS’ Anleitung
Explizites Caching einrichten
- Ordne den Prompt nach Stabilität. Setze feste Systemanweisungen, Tool-Definitionen und wiederverwendbares Referenzmaterial an den Anfang. Die veränderliche Nutzerfrage folgt nach dem Cache-Checkpoint. So kann eine spätere Anfrage mit demselben Präfix an die gespeicherte Verarbeitung anknüpfen.
- Aktiviere den expliziten Modus. Setze in AWS’ Chat-Completions-Beispiel
prompt_cache_optionsüberextra_bodyauf{"mode":"explicit"}. Dieses Feld allein aktiviert noch kein explizites Caching. - Markiere das Ende des wiederverwendbaren Präfixes. Füge
prompt_cache_breakpointzu einem Textabschnitt hinzu. Der Inhalt bis einschließlich dieser Markierung ist für den Cache vorgesehen; alles dahinter wird bei jeder Anfrage verarbeitet. Ein Breakpoint ohne expliziten Modus verhält sich im Beispiel wie implizites Caching. Mehrere Breakpoints sind möglich, sofern das Modell sie unterstützt. AWS beschreibt beide Felder und ihre Wirkung in der Anleitung.
Cache-Treffer und Schreibvorgänge prüfen
AWS’ Beispiel unterscheidet einen kalten Start von späteren Anfragen, indem es zu Beginn des System-Prompts eine eindeutige Lauf-ID einfügt. Für die folgenden Anfragen bleibt dieses Präfix unverändert. Prüfe dann in den Antwort-Nutzungsdaten cached_tokens und cache_write_tokens: Schreibvorgänge zeigen den Aufbau eines Cache-Eintrags, gelesene Cache-Tokens eine Wiederverwendung. AWS empfiehlt außerdem, die Laufzeitmetriken CacheReadInputTokenCount und CacheWriteInputTokenCount zu beobachten. AWS’ Anleitung Amazon-Bedrock-Dokumentation zum Prompt-Caching
Häufige Stolperfallen im Betrieb
- Mindestlänge unterschritten: Ein Aufruf kann erfolgreich sein, obwohl ein zu kurzer Checkpoint keinen Cache-Eintrag erzeugt. Maßgeblich ist die Mindestlänge der gewählten Modellkarte.
- Präfix verändert: Ändert sich der Inhalt vor dem Checkpoint, passt die Anfrage nicht mehr zum bisherigen Präfix.
- Andere Serverinstanz: Bedrock hält einen Cache-Eintrag auf dem Server, der die Anfrage verarbeitet. Wird eine spätere Anfrage von einem anderen Server bearbeitet, kann ein neuer Eintrag entstehen.
- Aufbewahrungszeit: Ein erfolgreicher Cache-Treffer setzt die Gültigkeitsdauer zurück. Ein Treffer ist durch die Unterstützung des Modells oder den gesetzten Breakpoint nicht garantiert.
- Inferenzmodus: Prompt-Caching ist für Inferenz auf Abruf verfügbar, nicht für Batch-Inferenz. Cross-Region-Routing kann bei hoher Nachfrage zusätzliche Schreibvorgänge verursachen. Amazon-Bedrock-Dokumentation
AWS erklärt, dass Prompts und Ausgaben von Open-Weight-Modellen auf Bedrock weder mit den Modellanbietern geteilt noch zum Trainieren von Modellen verwendet werden. AWS’ Anleitung