La caché explícita de prompts en Amazon Bedrock reutiliza el procesamiento de un prefijo repetido. En el ejemplo de Chat Completions de AWS hay que activar el modo explícito y marcar un punto de corte en el contenido de texto; después, los campos de uso permiten comprobar si hubo escrituras o lecturas de caché. AWS explica el formato de la petición y la telemetría en su guía.

Comprueba qué modelo y API puedes usar

Los requisitos de caché explícita no son iguales para todos los modelos. Las tarjetas de AWS indican estos límites para Kimi K3 y GLM 5.3:

ModeloCheckpoint mínimoRetención mínimaAPI con caché explícitaPerfil o límite de inferencia
Kimi K3256 tokensAl menos 30 minutosResponses, Chat Completions e InvokeModel; no ConverseAWS recomienda Chat Completions para nuevos usos de Kimi K3.
GLM 5.31.024 tokensAl menos 30 minutosResponses y Chat CompletionsSolo perfiles geográficos de EE. UU. o Global Cross-Region; sin inferencia bajo demanda en la región. El acceso está limitado a clientes que cumplan los requisitos.

Consulta la tarjeta de Kimi K3 o la tarjeta de GLM 5.3 antes de escoger la integración. Por ejemplo, si tu aplicación usa Converse, la caché explícita de Kimi K3 no está disponible mediante esa API; GLM 5.3, por su parte, requiere un perfil de inferencia entre regiones y acceso autorizado.

Prepara el prefijo reutilizable

Coloca primero el contenido que permanece igual entre peticiones: instrucciones del sistema, definiciones de herramientas y material de referencia. Deja después la pregunta o el contenido que cambia. El checkpoint marca hasta dónde llega el prefijo susceptible de almacenarse; el contenido posterior al último punto de corte se procesa en cada petición. La guía de AWS muestra cómo marcar ese límite.

Pon el contexto estable antes de la pregunta variable y conserva ese prefijo idéntico en las peticiones que quieras comparar.

Configura la caché explícita y comprueba su actividad

  1. Elige una combinación admitida. Selecciona el modelo, la API y, para GLM 5.3, el perfil de inferencia que correspondan a las condiciones de la tabla.
  2. Ordena el contenido de la petición. Sitúa el texto reutilizable al principio y añade prompt_cache_breakpoint a la parte de texto que cierra ese prefijo.
  3. Activa el modo explícito. En el ejemplo de Chat Completions de AWS, pasa prompt_cache_options: {"mode":"explicit"} mediante extra_body del SDK de OpenAI. Para obtener caché explícita, hacen falta tanto esa opción como el punto de corte. En el ejemplo, usar el modo explícito sin un breakpoint no almacena nada; añadir un breakpoint sin activar el modo explícito se comporta como caché implícita.
  4. Haz una petición fría y repite el prefijo. Para la primera petición, AWS sugiere añadir un identificador único al principio del mensaje de sistema. Mantén ese mismo prefijo en las peticiones siguientes para comprobar si se reutiliza.
  5. Revisa los campos de uso. En la respuesta, consulta usage.prompt_tokens_details.cached_tokens y cache_write_tokens: indican los tokens leídos de la caché y los escritos. AWS también recomienda seguir las métricas de ejecución CacheReadInputTokenCount y CacheWriteInputTokenCount para observar su actividad en el tiempo. La documentación de Bedrock describe los campos y las métricas.

Para reproducir la muestra de AWS se indican Python 3.12, OpenAI Python SDK 3.26.0 o posterior y aws-bedrock-token-generator 1.1.0 o posterior. También hacen falta una cuenta de AWS, acceso al modelo y permisos de invocación. La clave de API de Bedrock que genera esa muestra es temporal y tiene una validez máxima de 12 horas. Estos requisitos corresponden a la muestra, no a todas las integraciones posibles.

Ten en cuenta los límites operativos

AWS almacena cada entrada en el servidor que atendió la petición, así que una solicitud enviada a otro servidor puede crear una entrada nueva. Un acierto correcto reinicia el tiempo de retención; el soporte del modelo y la configuración del breakpoint no garantizan por sí solos una lectura. El enrutamiento entre regiones también puede generar escrituras adicionales en momentos de alta demanda, y la caché de prompts se admite en inferencia bajo demanda, no en inferencia por lotes. AWS detalla estos comportamientos en la documentación de caché de prompts.