Für explizites Prompt-Caching in Amazon Bedrock brauchst du in AWS’ Chat-Completions-Beispiel sowohl prompt_cache_options im Modus explicit als auch einen prompt_cache_breakpoint an einem Textabschnitt. Wähle anschließend ein Modell und eine API, die Caching unterstützen, und prüfe in den Nutzungsdaten, ob Bedrock tatsächlich Cache-Tokens gelesen oder geschrieben hat. AWS’ Anleitung für Open-Weight-Modelle

Markiere nur den stabilen Teil des Prompts als wiederverwendbares Präfix; die wechselnde Frage gehört dahinter.

Voraussetzungen und Modellwahl

Prüfe vor der Implementierung, ob die gewünschte API zum Modell passt. Die AWS-Modellkarten nennen für Kimi K3 und GLM 5.3 unterschiedliche Mindestlängen und API-Unterstützung:

ModellMindestlänge des CheckpointsMindestaufbewahrungAPIs mit explizitem Caching
Kimi K3256 TokensMindestens 30 MinutenResponses, Chat Completions und InvokeModel; nicht Converse
GLM 5.31.024 TokensMindestens 30 MinutenResponses und Chat Completions

Die Kimi-K3-Modellkarte empfiehlt Chat Completions für neue Anwendungen mit diesem Modell. GLM 5.3 ist nur für berechtigte Kunden über ein US-geografisches oder globales Cross-Region-Inferenzprofil verfügbar; Inferenz auf Abruf innerhalb einer einzelnen Region wird nicht unterstützt. Die GLM-5.3-Modellkarte

Für die Chat-Completions-Anleitung nennt AWS Python 3.12, das OpenAI Python SDK ab Version 3.26.0 und aws-bedrock-token-generator ab Version 1.1.0. Außerdem brauchst du ein AWS-Konto mit Zugriff auf das Modell und den nötigen Aufrufberechtigungen. Der von der Anleitung erzeugte Bedrock-API-Schlüssel ist kurzlebig und bis zu zwölf Stunden gültig. AWS’ Anleitung

Explizites Caching einrichten

  1. Ordne den Prompt nach Stabilität. Setze feste Systemanweisungen, Tool-Definitionen und wiederverwendbares Referenzmaterial an den Anfang. Die veränderliche Nutzerfrage folgt nach dem Cache-Checkpoint. So kann eine spätere Anfrage mit demselben Präfix an die gespeicherte Verarbeitung anknüpfen.
  2. Aktiviere den expliziten Modus. Setze in AWS’ Chat-Completions-Beispiel prompt_cache_options über extra_body auf {"mode":"explicit"}. Dieses Feld allein aktiviert noch kein explizites Caching.
  3. Markiere das Ende des wiederverwendbaren Präfixes. Füge prompt_cache_breakpoint zu einem Textabschnitt hinzu. Der Inhalt bis einschließlich dieser Markierung ist für den Cache vorgesehen; alles dahinter wird bei jeder Anfrage verarbeitet. Ein Breakpoint ohne expliziten Modus verhält sich im Beispiel wie implizites Caching. Mehrere Breakpoints sind möglich, sofern das Modell sie unterstützt. AWS beschreibt beide Felder und ihre Wirkung in der Anleitung.

Cache-Treffer und Schreibvorgänge prüfen

AWS’ Beispiel unterscheidet einen kalten Start von späteren Anfragen, indem es zu Beginn des System-Prompts eine eindeutige Lauf-ID einfügt. Für die folgenden Anfragen bleibt dieses Präfix unverändert. Prüfe dann in den Antwort-Nutzungsdaten cached_tokens und cache_write_tokens: Schreibvorgänge zeigen den Aufbau eines Cache-Eintrags, gelesene Cache-Tokens eine Wiederverwendung. AWS empfiehlt außerdem, die Laufzeitmetriken CacheReadInputTokenCount und CacheWriteInputTokenCount zu beobachten. AWS’ Anleitung Amazon-Bedrock-Dokumentation zum Prompt-Caching

Häufige Stolperfallen im Betrieb

  • Mindestlänge unterschritten: Ein Aufruf kann erfolgreich sein, obwohl ein zu kurzer Checkpoint keinen Cache-Eintrag erzeugt. Maßgeblich ist die Mindestlänge der gewählten Modellkarte.
  • Präfix verändert: Ändert sich der Inhalt vor dem Checkpoint, passt die Anfrage nicht mehr zum bisherigen Präfix.
  • Andere Serverinstanz: Bedrock hält einen Cache-Eintrag auf dem Server, der die Anfrage verarbeitet. Wird eine spätere Anfrage von einem anderen Server bearbeitet, kann ein neuer Eintrag entstehen.
  • Aufbewahrungszeit: Ein erfolgreicher Cache-Treffer setzt die Gültigkeitsdauer zurück. Ein Treffer ist durch die Unterstützung des Modells oder den gesetzten Breakpoint nicht garantiert.
  • Inferenzmodus: Prompt-Caching ist für Inferenz auf Abruf verfügbar, nicht für Batch-Inferenz. Cross-Region-Routing kann bei hoher Nachfrage zusätzliche Schreibvorgänge verursachen. Amazon-Bedrock-Dokumentation

AWS erklärt, dass Prompts und Ausgaben von Open-Weight-Modellen auf Bedrock weder mit den Modellanbietern geteilt noch zum Trainieren von Modellen verwendet werden. AWS’ Anleitung