Voor expliciete promptcaching in Amazon Bedrock heb je in AWS’ voorbeeld voor Chat Completions twee instellingen nodig: prompt_cache_options op explicit en een prompt_cache_breakpoint op een tekstonderdeel. Kies daarna een model en API die caching ondersteunen en controleer de gebruiksgegevens van antwoorden om cachelezingen en -schrijvingen te zien. AWS beschrijft de instellingen en de bijbehorende controle.
Zet de vaste context vóór de vraag die telkens verandert. Zo blijft het bedoelde herbruikbare deel van de prompt bij volgende aanvragen gelijk.
Kies eerst een model en ondersteunde API
Kimi K3 en GLM 5.3 hebben verschillende minimumlengtes voor een cachecheckpoint en ondersteunen niet dezelfde API’s. De AWS-modelkaart voor Kimi K3 en de modelkaart voor GLM 5.3 geven deze grenzen aan.
| Model | Minimum per checkpoint | Minimale bewaartijd | API’s met expliciete caching | Inferentieprofiel of beperking |
| Kimi K3 | 256 tokens | Minimaal 30 minuten | Responses, Chat Completions en InvokeModel | Expliciete caching wordt niet ondersteund via Converse. |
| GLM 5.3 | 1.024 tokens | Minimaal 30 minuten | Responses en Chat Completions | Alleen voor in aanmerking komende klanten en via een geografisch Amerikaans of wereldwijd cross-regionprofiel; on-demand inferentie binnen één regio is niet beschikbaar. |
Controleer de API en het inferentieprofiel voordat je de aanvraag bouwt. Een model kan expliciete caching ondersteunen zonder dat die functie beschikbaar is via elke API of elk profiel.
Wat je nodig hebt
Voor het Chat Completions-voorbeeld noemt AWS Python 3.12, de OpenAI Python SDK versie 3.26.0 of hoger en aws-bedrock-token-generator versie 1.1.0 of hoger. Je hebt ook een AWS-account nodig met toegang tot het gekozen model en toestemming om het aan te roepen. Een API-sleutel die het voorbeeld genereert, is tijdelijk geldig, tot maximaal 12 uur.
Stel de expliciete cache in
- Kies het model en de API. Gebruik de modelkaart om te controleren of de combinatie expliciete caching ondersteunt en aan de minimumlengte voor checkpoints voldoet.
- Zet de vaste promptinhoud vooraan. Plaats bijvoorbeeld stabiele instructies, tooldefinities en referentiemateriaal vóór de veranderende gebruikersvraag. Een cachecheckpoint markeert het einde van het deel dat herbruikbaar is; inhoud tot en met dat punt komt in aanmerking voor caching. Inhoud na het laatste checkpoint wordt bij elke aanvraag verwerkt.
- Schakel de expliciete modus in. AWS’ Chat Completions-voorbeeld geeft
prompt_cache_optionsviaextra_bodyvan de OpenAI SDK door, met de waarde{"mode":"explicit"}. - Markeer het herbruikbare tekstdeel. Voeg
prompt_cache_breakpointtoe aan het tekstonderdeel waar het cachebare prefix eindigt. Alleen de modus instellen levert in dit voorbeeld geen caching op; alleen een breakpoint gebruiken werkt als impliciete caching.
Controleer cachelezingen en -schrijvingen
Begin een koude proef met een unieke run-ID aan het begin van de systeemprompt. Behoud dezelfde prefix bij vervolgaanvragen, zodat die aanvragen het eerder gebruikte deel kunnen hergebruiken. Bekijk in de antwoordgegevens cached_tokens en cache_write_tokens: die laten zien hoeveel tokens uit de cache zijn gelezen en hoeveel naar de cache zijn geschreven. AWS raadt daarnaast de runtime-metrics CacheReadInputTokenCount en CacheWriteInputTokenCount aan om het gebruik over aanvragen te volgen.
Een ondersteunde API of ingesteld checkpoint garandeert geen cachetreffer. De Bedrock-documentatie over promptcaching beschrijft ook waarom: cachevermeldingen staan op de server die de aanvraag verwerkte, en een volgende aanvraag kan op een andere server terechtkomen en een nieuwe vermelding schrijven. Een succesvolle cachetreffer reset de bewaartijd. Als een checkpoint korter is dan het minimum voor het gekozen model, kan de inferentie wel slagen terwijl het prefix niet wordt gecachet.
Houd rekening met de operationele grenzen
Promptcaching werkt voor on-demand inferentie, niet voor de batch-inferentie-API. Bij cross-regionroutering kunnen momenten van hoge vraag extra cache-schrijvingen veroorzaken. Daarom vertellen de ingestelde velden alleen niet of hergebruik bij een specifieke aanvraag heeft plaatsgevonden; daarvoor zijn de gebruiksvelden en runtime-metrics nodig.