Pour configurer la mise en cache explicite des prompts sur Amazon Bedrock, définissez prompt_cache_options sur explicit et placez un prompt_cache_breakpoint dans la partie texte réutilisable. Choisissez ensuite un modèle et une API compatibles, puis vérifiez les champs d’usage pour distinguer une écriture du cache d’une lecture réelle. Cette méthode s’adresse aux développeurs qui mettent en place des requêtes répétant le même contexte.

Pour vérifier la réutilisation, regardez les jetons lus et écrits dans les données d’usage : la configuration, à elle seule, ne garantit pas un hit.

Préparer le modèle et l’API

Les exigences diffèrent selon le modèle. Les fiches AWS de Kimi K3 et GLM 5.3 indiquent des seuils de préfixe et des API compatibles distincts.

ModèleCheckpoint minimalRétention minimaleAPI compatibles avec le cache explicite
Kimi K3256 jetons30 minutes au minimumResponses, Chat Completions et InvokeModel
GLM 5.31 024 jetons30 minutes au minimumResponses et Chat Completions

Kimi K3 ne prend pas en charge le cache explicite avec Converse. GLM 5.3 est réservé aux clients admissibles et nécessite un profil d’inférence géographique aux États-Unis ou mondial interrégional ; l’inférence à la demande dans une seule région n’est pas proposée pour ce modèle. Vérifiez ces paramètres avant de choisir l’API et le profil d’inférence.

Pour reproduire l’exemple AWS, prévoyez Python 3.12, l’OpenAI Python SDK en version 3.26.0 ou ultérieure et aws-bedrock-token-generator en version 1.1.0 ou ultérieure. Il faut également un compte AWS, l’accès au modèle et les autorisations d’invocation. La clé d’API Bedrock générée par cet exemple est temporaire et valable jusqu’à 12 heures. AWS détaille ces prérequis et les paramètres de la requête dans son exemple Chat Completions.

Configurer le préfixe réutilisable

  1. Placez le contenu stable au début du prompt. Regroupez les instructions système, les définitions d’outils et les références qui ne changent pas avant la question variable. Un préfixe identique permet à Bedrock de reconnaître le contenu susceptible d’être réutilisé.
  2. Ajoutez le checkpoint à la fin de ce contenu. Dans l’exemple Chat Completions d’AWS, prompt_cache_breakpoint s’applique à une partie texte. Le contenu jusqu’au checkpoint inclus est admissible au cache ; ce qui suit le dernier checkpoint est traité à chaque requête.
  3. Activez le mode explicite dans la requête. Passez prompt_cache_options avec le mode explicit, en plus du checkpoint. Sans le premier réglage, un checkpoint seul suit le comportement de la mise en cache implicite dans l’exemple AWS ; sans checkpoint, le mode explicite ne met rien en cache.

AWS autorise plusieurs checkpoints, dans la limite prévue par le modèle. La mise en cache dépend donc aussi de la taille minimale imposée par sa fiche : le seuil est de 256 jetons pour Kimi K3 et de 1 024 pour GLM 5.3. Si le checkpoint est trop court, l’inférence peut réussir sans que le préfixe soit mis en cache.

Comprendre les ratés de cache

La mise en cache explicite d’Amazon Bedrock concerne les points de terminaison d’inférence à la demande, pas l’API d’inférence par lots. AWS stocke une entrée sur le serveur qui traite la requête ; si une requête suivante est dirigée vers un autre serveur, elle peut créer une nouvelle entrée au lieu de lire la précédente. Un hit réussi réinitialise la durée de rétention. Le routage interrégional peut aussi entraîner des écritures supplémentaires lors des périodes de forte demande. La documentation AWS décrit ces mécanismes et les métriques associées.

AWS indique que les prompts et les réponses des modèles à poids ouverts sur Bedrock ne sont pas partagés avec le fournisseur du modèle et ne servent pas à entraîner des modèles. Cette précision figure dans le guide AWS consacré au cache explicite.

Vérifier les écritures et les lectures

Pour tester le comportement décrit par AWS, commencez par une requête froide en plaçant un identifiant d’exécution unique au début du prompt système. Conservez ensuite exactement le même préfixe pour les requêtes suivantes : cette stabilité permet d’observer si Bedrock réutilise le contexte.

Dans la réponse, examinez usage.prompt_tokens_details.cached_tokens et cache_write_tokens. Le premier indique les jetons lus depuis le cache ; le second, ceux qui y ont été écrits. Pour suivre le comportement d’un ensemble de requêtes, AWS recommande aussi les métriques d’exécution CacheReadInputTokenCount et CacheWriteInputTokenCount. Un cache pris en charge et un checkpoint configuré ne garantissent pas un hit. L’exemple AWS illustre une procédure, pas un benchmark standardisé de gains de performance ou de coût.