Para comparar los costes de un flujo de IA generativa, mide qué proporción de solicitudes resuelven las reglas y cuánto cuesta cada ruta que queda. AWS recomienda reservar el código determinista para reglas comprobables, las decisiones restringidas para opciones fijas y los modelos generativos para tareas abiertas; su ejemplo del 95 % es ilustrativo, no un ahorro medido (guía de AWS).
Cómo comparar los costes de las distintas rutas
En una tarea de clasificación, puedes comparar el coste de enviar todas las solicitudes a un modelo con el de ejecutar primero reglas y decidir de forma acotada los casos restantes:
N × C_M frente a N × C_R + N × (1 − r) × C_D.
- N es el número de solicitudes.
- r es la proporción que resuelven las reglas, medida en tu propio flujo.
- C_M es el coste por solicitud de clasificar con un modelo.
- C_R es el coste por ejecución de las reglas.
- C_D es el coste de la decisión restringida para cada solicitud que las reglas no resuelven.
La comparación supone que ambas rutas cubren la misma tarea y alcanzan resultados aceptables. Si una decisión restringida deriva algunos casos a un modelo generativo, suma también el coste de esas llamadas. Añade por separado los costes de infraestructura, evaluación y operación que cambien entre rutas. Sin las tarifas y mediciones de tu carga de trabajo, la ecuación no da un ahorro en euros: sirve para hacer visibles los datos que necesitas medir.
AWS plantea como ejemplo hipotético que las reglas resuelvan el 95 % de las solicitudes y que solo una de cada veinte llegue a un modelo. Ese reparto es aritmética ilustrativa, no un resultado de rendimiento ni un porcentaje de ahorro aplicable a cualquier equipo.
Qué tareas encajan con reglas, decisiones fijas o modelos
La ruta depende de lo que tenga que hacer cada paso: comprobar una condición, elegir entre opciones conocidas o generar una respuesta abierta. AWS aplica esa distinción a un flujo de atención al cliente:
| Tarea del flujo | Ruta | Ejemplo | Qué tener en cuenta |
| Comprobar datos con un formato o intervalo definido | Código determinista | Validar el formato del pedido o patrones revisados de números de seguimiento | Las reglas deben corresponder a condiciones que se puedan comprobar explícitamente. |
| Elegir una categoría o destino entre opciones fijas | Decisión restringida | Clasificar la intención o elegir una cola de atención | Comprueba con datos etiquetados cuándo hace falta derivar un caso. |
| Interpretar o redactar contenido abierto | Modelo generativo | Preparar la respuesta para el cliente | Ajusta el modelo a la tarea y evalúa la calidad de sus respuestas. |
Una regla puede comprobar, por ejemplo, si un dato sigue un patrón previsto. Si la solicitud no encaja en una condición conocida, una decisión restringida puede asignarle una categoría dentro de un conjunto cerrado; no hace falta pedirle que redacte una respuesta completa. La generación queda para el paso que realmente necesita interpretar o producir texto.
Cómo controlar las decisiones dudosas
Para las opciones fijas, AWS enumera salidas estructuradas con una alternativa como «no estoy seguro», similitud entre representaciones vectoriales, un clasificador entrenado y Strands Decider, que describe como experimental. Los umbrales de confianza y las señales para escalar un caso deben evaluarse con ejemplos etiquetados de la tarea; así puedes decidir cuándo una respuesta acotada basta y cuándo debe intervenir otra ruta.
El coste por llamada tampoco cuenta toda la historia. AWS caracteriza el código determinista como normalmente mucho más barato por ejecución y con latencias de milisegundos de un solo dígito o menos; compara ese perfil general con los costes por token y latencias de cientos de milisegundos de las llamadas a modelos. Son referencias amplias, no mediciones de una carga de trabajo concreta. Para la decisión real, compara el coste por resultado satisfactorio junto con la calidad y la latencia que exige tu aplicación.
Qué costes hay además de la llamada al modelo
El coste de un flujo también puede depender del contexto enviado, las tareas que se agrupan en una petición, las respuestas repetidas que se pueden atender mediante caché, la limpieza de documentos de recuperación y la infraestructura de bases vectoriales. Son áreas distintas que conviene revisar junto con el uso del modelo, no porcentajes de ahorro garantizados.
Cloud With Raj aborda estos temas, además de la destilación de modelos y otras decisiones de infraestructura, en un recorrido en inglés sobre costes de IA generativa.
Cómo elegir sin sacrificar calidad ni control
Antes de cambiar una ruta o un modelo, fija un umbral de calidad, un límite de coste, un objetivo de latencia y las restricciones de cumplimiento que debe respetar el flujo. Evalúa los candidatos con ejemplos etiquetados de la tarea y conserva una forma de revertir el cambio; AWS también recomienda vigilar posibles desviaciones en el rendimiento con el tiempo.
Mide primero qué resuelven las reglas; después compara el coste de las decisiones y llamadas que quedan con la calidad que necesita el flujo.