Per usare la cache esplicita dei prompt in Amazon Bedrock, nell’esempio AWS per Chat Completions devi impostare prompt_cache_options su explicit e aggiungere prompt_cache_breakpoint a una parte di testo. Poi controlla i dati d’uso della risposta: configurare la cache non basta, da solo, a dimostrare che una richiesta l’abbia riutilizzata. AWS spiega entrambi i campi nel suo esempio.
Metti prima del breakpoint le istruzioni e i riferimenti che restano uguali tra le richieste; lascia dopo il contenuto che cambia.
Prima di configurare la richiesta, scegli modello e API
Le soglie e le API compatibili variano da modello a modello. Per esempio, le schede AWS di Kimi K3 e GLM 5.3 indicano checkpoint minimi e API diversi:
| Modello | Checkpoint minimo | Conservazione minima | API con cache esplicita |
| Kimi K3 | 256 token | Almeno 30 minuti | Responses, Chat Completions e InvokeModel; non Converse |
| GLM 5.3 | 1.024 token | Almeno 30 minuti | Responses e Chat Completions |
Per GLM 5.3, AWS limita l’inferenza ai profili cross-Region geografici degli Stati Uniti o globali e ai clienti idonei; l’inferenza on-demand nella singola Regione non è supportata. Quindi, prima di integrare il breakpoint, verifica che coincidano sia l’API sia il profilo di inferenza scelti.
Imposta i due campi nella richiesta
- Disponi il prompt in modo stabile. Inserisci all’inizio le istruzioni di sistema, le definizioni degli strumenti e i riferimenti che si ripetono; metti la domanda variabile dopo. Un cambiamento nel prefisso può impedire il riuso della cache.
- Segna la fine del prefisso riutilizzabile. Aggiungi
prompt_cache_breakpointa una parte di testo. Il contenuto fino al breakpoint incluso può entrare nella cache; quello successivo viene elaborato a ogni richiesta. - Attiva la modalità esplicita. Imposta
prompt_cache_optionssuexplicit. Nell’esempio AWS per Chat Completions, l’opzione passa tramiteextra_bodydell’OpenAI SDK. Se usi soltanto la modalità esplicita senza un breakpoint, l’esempio non memorizza nulla; con il breakpoint ma senza la modalità esplicita, si comporta come la cache implicita.
Riproponi il prefisso e controlla i dati d’uso
Per distinguere una prima scrittura dai riusi successivi, AWS suggerisce nel proprio esempio di aggiungere un identificativo univoco all’inizio del prompt di sistema per la prima richiesta. Mantieni poi invariato quel prefisso nelle richieste successive.
Controlla cached_tokens e cache_write_tokens nei dati d’uso della risposta. Per osservare l’andamento nel tempo, AWS indica anche le metriche runtime CacheReadInputTokenCount e CacheWriteInputTokenCount. Una lettura registrata segnala token recuperati dalla cache; una scrittura segnala token inseriti. La cache può comunque non essere utilizzata anche quando il modello la supporta e il breakpoint è configurato.
Considera i limiti operativi
Amazon Bedrock conserva una voce di cache sul server che ha elaborato la richiesta: se una richiesta successiva arriva a un altro server, può creare una nuova voce invece di leggere quella precedente. Un accesso riuscito azzera il tempo di conservazione; l’inferenza batch non supporta la cache dei prompt. AWS descrive questi comportamenti nella documentazione generale sulla cache di prompt.
Per riprodurre il campione AWS servono Python 3.12, OpenAI Python SDK 3.26.0 o successivo, aws-bedrock-token-generator 1.1.0 o successivo e un account AWS con accesso al modello e autorizzazione all’invocazione. La chiave API Bedrock generata dal campione è temporanea e valida fino a 12 ore. AWS afferma inoltre che prompt e risposte dei modelli open-weight su Bedrock non vengono condivisi con il fornitore del modello né usati per addestrare modelli, come indicato nella guida AWS alla cache esplicita.