Pour comparer le coût de deux architectures d’IA générative, mesurez le volume de requêtes, la part qu’un code déterministe peut résoudre et le coût de chaque traitement. Pour une tâche de classification, comparez N × C_M (tout traiter avec un modèle) à N × C_R + N × (1 − r) × C_D (règles, puis décision contrainte pour les cas restants). AWS recommande d’adapter la voie au type de tâche ; dans son exemple, les règles traitent 95 % des requêtes, mais ce chiffre est illustratif, pas un résultat mesuré ni une économie promise (AWS).
Mesurez d’abord la part qu’une règle résout correctement, puis vérifiez que les autres voies respectent votre seuil de qualité.
Comment calculer le coût des différentes voies ?
Dans cette équation, N désigne le nombre de requêtes, r la proportion effectivement résolue par les règles, C_M le coût d’une classification par modèle, C_R le coût d’une exécution de règle et C_D le coût d’une décision contrainte pour chaque requête non résolue par les règles. La formule compare une route qui envoie chaque requête à un modèle à une route hybride qui commence par des règles.
Cette comparaison suppose que les deux routes traitent le même travail et donnent des résultats jugés acceptables. Si une décision contrainte peut ensuite déclencher une génération, ajoutez le coût de cette génération pour les requêtes concernées. Comptabilisez aussi séparément les différences d’infrastructure, d’évaluation et d’exploitation. La mesure utile est le coût par résultat réussi, pas le seul coût d’un appel isolé.
L’exemple d’AWS, où les règles traitent 95 % des requêtes et où une sur vingt atteint un modèle, sert à illustrer le calcul. Pour estimer votre propre résultat, remplacez cette hypothèse par la part mesurée sur vos requêtes et utilisez vos coûts réels par voie.
Quelle tâche confier au code, à une décision contrainte ou à un modèle ?
Le code convient aux vérifications dont le résultat est déterministe : format, schéma, mots-clés ou plage numérique. Une décision contrainte sert à choisir parmi un ensemble fixe lorsque les règles ne suffisent pas. Un modèle génératif dimensionné au besoin reste adapté aux tâches ouvertes, comme la rédaction d’une réponse.
Un assistant de support illustre cette répartition :
| Tâche dans le flux de support | Voie adaptée | Exemple de traitement |
| Vérifier le format d’une commande | Code déterministe | Contrôler la structure attendue |
| Reconnaître un numéro de suivi | Code déterministe | Vérifier des motifs définis et révisés |
| Orienter une demande selon son intention | Règles rapides, puis décision contrainte | Choisir une catégorie parmi des options fixées |
| Choisir la file de traitement | Décision contrainte | Affecter la demande à une file prédéfinie |
| Rédiger une réponse | Modèle génératif | Formuler un texte adapté à la demande |
La frontière pratique est celle de la tâche : une vérification reproductible se prête aux règles ; un choix limité appelle une décision cadrée ; une réponse à formuler laisse davantage de place au modèle. Une requête qui ne passe pas le seuil défini pour une décision contrainte doit pouvoir être orientée vers l’étape suivante prévue dans le flux.
Comment évaluer une décision parmi un nombre fixe d’options ?
Pour un choix fixe, AWS cite les sorties structurées avec une option « incertain », la similarité entre représentations vectorielles, le classificateur entraîné et Strands Decider, que l’entreprise décrit comme expérimental. Le choix de méthode ne suffit pas : il faut tester les seuils et les règles d’escalade sur des données étiquetées correspondant à la tâche.
Ce contrôle évite de traiter une réponse incertaine comme une décision certaine. Il permet aussi de vérifier si la voie retenue répond au niveau de qualité attendu avant de la comparer sur son coût.
Quels coûts regarder au-delà des appels au modèle ?
Le routage n’est qu’une partie du calcul. La gestion du contexte, le traitement par lots, le cache sémantique, le nettoyage des documents utilisés en génération augmentée par récupération (RAG), le choix des bases vectorielles, la distillation et l’infrastructure sont d’autres postes à examiner. Dans une vidéo en anglais, Cloud With Raj aborde ces sujets comme des pistes d’optimisation.
Comment arbitrer entre coût, qualité, latence et conformité ?
Fixez d’abord un niveau de qualité minimal, un plafond de coût, une cible de latence et les contraintes de conformité propres à votre application. AWS décrit le code déterministe comme généralement moins coûteux par exécution et rapide — moins de dix millisecondes, parfois moins — tandis qu’un appel de modèle prend plutôt des centaines de millisecondes. Ce sont des ordres de grandeur généraux, pas les résultats d’un test standardisé.
Évaluez ensuite chaque changement avec un jeu de données étiquetées adapté à la tâche, mesurez le coût par résultat réussi et prévoyez un retour arrière. AWS recommande également de surveiller la dérive, car les performances d’une décision peuvent évoluer avec les données et les demandes.