Jawne buforowanie promptów w Amazon Bedrock wymaga w przykładzie AWS dwóch ustawień: prompt_cache_options w trybie explicit oraz prompt_cache_breakpoint przy części tekstowej. Przed wdrożeniem sprawdź też kartę wybranego modelu, a po wysłaniu żądań — dane użycia, bo samo skonfigurowanie punktu kontrolnego nie oznacza, że żądanie odczytało pamięć podręczną. AWS opisuje oba pola w przykładzie Chat Completions.
Buforowanie prefiksu pozwala ponownie wykorzystać przetworzony fragment promptu, który powtarza się w kolejnych żądaniach. Nie obejmuje treści umieszczonej za ostatnim punktem kontrolnym, więc stałe instrukcje i kontekst warto umieścić przed zmiennym pytaniem.
Najpierw dopasuj API i minimalną długość prefiksu do modelu, potem sprawdź odczyty i zapisy w danych użycia. Ustawienia są początkiem, nie potwierdzeniem trafienia do cache.
Co przygotować przed konfiguracją
Jeśli chcesz odtworzyć przykład AWS, potrzebujesz Pythona 3.12, biblioteki OpenAI Python SDK w wersji 3.26.0 lub nowszej oraz aws-bedrock-token-generator w wersji 1.1.0 lub nowszej. Potrzebne są też konto AWS, dostęp do wybranego modelu i uprawnienia do jego wywoływania. Klucz API Bedrock utworzony w przykładzie jest krótkotrwały — może działać do 12 godzin. To wymagania przykładu AWS, a nie uniwersalna lista dla każdego sposobu wywoływania Bedrock. AWS podaje je w swoim przewodniku.
Który model i interfejs API wybrać
Kimi K3 i GLM 5.3 mają różne minimalne długości checkpointu i różny zakres obsługiwanych interfejsów. Checkpoint to wskazane miejsce końca fragmentu, który ma nadawać się do buforowania.
| Model | Minimalny checkpoint | Minimalny czas przechowywania | API obsługujące jawne buforowanie | Profil lub ograniczenie inferencji |
| Kimi K3 | 256 tokenów | Co najmniej 30 minut | Responses, Chat Completions i InvokeModel; nie Converse | AWS rekomenduje Chat Completions przy nowych zastosowaniach Kimi K3 |
| GLM 5.3 | 1 024 tokeny | Co najmniej 30 minut | Responses i Chat Completions | Dostęp dla uprawnionych klientów; profil geograficzny US albo globalne wnioskowanie między regionami, bez wnioskowania na żądanie w jednym regionie |
Wartości i obsługiwane interfejsy wynikają z karty Kimi K3 oraz karty GLM 5.3. Jeśli korzystasz z GLM 5.3, sprawdź również ograniczenie profilu inferencji — wybór odpowiedniego API nie wystarczy, gdy wdrożenie nie pasuje do warunków modelu.
Jak skonfigurować jawne buforowanie
- Wybierz model, API i profil inferencji. Upewnij się, że karta modelu wymienia wybrany interfejs i że prefiks osiąga minimalną długość. Kimi K3 wymaga co najmniej 256 tokenów na checkpoint, a GLM 5.3 — 1 024.
- Ułóż prompt od treści stałej do zmiennej. Umieść powtarzalne instrukcje, definicje narzędzi i materiały referencyjne przed pytaniem, które zmienia się w każdym żądaniu. Punkt kontrolny oznacza koniec fragmentu kwalifikującego się do buforowania; tekst po ostatnim takim punkcie jest przetwarzany przy każdym wywołaniu.
- Ustaw oba pola żądania. W przykładzie Chat Completions AWS przekazuje
prompt_cache_options: {"mode":"explicit"}i oznacza część tekstową polemprompt_cache_breakpoint. Opcje Bedrock są przekazywane przezextra_bodyw przykładzie korzystającym z OpenAI SDK. Sam trybexplicit, bez punktu kontrolnego, nie buforuje prefiksu; sam punkt kontrolny bez jawnego trybu działa jak buforowanie niejawne. - Wyślij żądanie testowe, a następnie powtórz je z tym samym prefiksem. W przykładzie AWS unikalny identyfikator przebiegu umieszczony na początku promptu systemowego tworzy nowy, zimny prefiks. W kolejnych żądaniach zachowaj ten sam początek, aby sprawdzić jego ponowne użycie.
Jak sprawdzić odczyty i zapisy
W odpowiedzi sprawdź usage.prompt_tokens_details.cached_tokens oraz cache_write_tokens. Pierwsze pole wskazuje liczbę tokenów odczytanych z cache, drugie — tokenów zapisanych. AWS zaleca też obserwowanie metryk środowiska uruchomieniowego CacheReadInputTokenCount i CacheWriteInputTokenCount, szczególnie gdy analizujesz wiele żądań. Opis pól i metryk znajduje się w przewodniku AWS oraz dokumentacji buforowania Amazon Bedrock.
Co może przerwać ponowne użycie prefiksu
Punkt kontrolny krótszy niż minimum właściwe dla modelu może nie zapisać prefiksu, choć samo wywołanie inferencji zakończy się powodzeniem. Zmiana wcześniejszej treści promptu również zmienia prefiks, który ma być ponownie wykorzystany. AWS przechowuje wpis cache na serwerze obsługującym żądanie, więc kolejne wywołanie obsłużone przez inny serwer może utworzyć nowy wpis. Udane trafienie odświeża czas przechowywania, a przy dużym zapotrzebowaniu wnioskowanie między regionami może powodować dodatkowe zapisy. Buforowanie promptów dotyczy inferencji na żądanie, nie inferencji wsadowej. AWS opisuje te ograniczenia w dokumentacji Amazon Bedrock.
AWS podaje, że prompty i odpowiedzi w przypadku modeli o otwartych wagach w Bedrock nie są udostępniane dostawcom modeli ani wykorzystywane do trenowania modeli. To stanowisko AWS dotyczy promptów i odpowiedzi.