Para comparar os custos de um fluxo de IA generativa, meça o volume de solicitações, a parcela que as regras conseguem resolver e o custo de cada etapa. A AWS recomenda reservar código determinístico para regras verificáveis, decisões restritas para escolhas entre opções fixas e modelos dimensionados para tarefas abertas. O exemplo da AWS em que regras resolvem 95% das solicitações é apenas ilustrativo, não uma economia medida em um sistema real. (AWS)
Antes de trocar de modelo, descubra quais etapas do fluxo realmente precisam de um.
Como comparar os custos do seu fluxo
Em uma tarefa de classificação, compare o custo de enviar todas as solicitações a um modelo com o custo de executar primeiro uma regra e encaminhar os casos restantes a uma decisão restrita:
- Somente modelo:
N × C_M - Regra e decisão restrita:
N × C_R + N × (1 − r) × C_D
N é o número de solicitações; r, a proporção que as regras resolvem; C_M, o custo por classificação com modelo; C_R, o custo por execução da regra; e C_D, o custo por decisão restrita para cada caso não resolvido pela regra. A conta pressupõe que os caminhos atendam ao mesmo padrão de resultado. Some separadamente diferenças de infraestrutura, avaliação e operação. Se a decisão restrita encaminhar alguns casos a um modelo generativo, inclua também o custo dessas chamadas.
O exemplo da AWS com 95% de solicitações resolvidas pelas regras deixa 1 em 20 chegar a um modelo. É uma conta hipotética, não uma taxa de resolução que outras equipes devam esperar. Para avaliar seu fluxo, use a proporção observada nos próprios dados e contabilize o custo de cada caminho.
Que tarefas combinam com cada caminho?
A escolha depende do tipo de trabalho: uma regra clara pode validar dados; uma decisão restrita pode selecionar uma opção de uma lista; e um modelo generativo pode lidar com uma resposta aberta.
| Tarefa do fluxo | Caminho | Por que se encaixa | Ponto de atenção |
| Conferir formato do pedido, esquema, palavra-chave ou faixa numérica | Código determinístico | O resultado pode ser definido por regras explícitas | Revise as regras quando os formatos ou critérios mudarem |
| Classificar uma intenção entre categorias fixas | Decisão restrita, após regras aplicáveis | A resposta deve pertencer a um conjunto delimitado | Encaminhe casos incertos para avaliação ou escalonamento |
| Escolher uma fila de atendimento predefinida | Decisão restrita | A tarefa é selecionar entre destinos conhecidos | Avalie a seleção com exemplos rotulados da tarefa |
| Redigir uma resposta personalizada | Modelo generativo dimensionado para a tarefa | A resposta exige texto aberto, não apenas uma escolha fixa | Verifique qualidade, latência e custo por resultado útil |
No exemplo de atendimento descrito pela AWS, o código verifica o formato do pedido e padrões conhecidos de rastreamento; um caminho rápido e uma decisão restringem o encaminhamento por intenção; a seleção da fila é uma escolha entre opções; e o modelo redige a resposta. Essa divisão ajuda a evitar chamadas em etapas que têm uma condição verificável ou um conjunto fechado de respostas.
Para escolhas fixas, as opções citadas pela AWS incluem saídas estruturadas, similaridade entre embeddings, um classificador treinado e o Strands Decider, descrito como experimental. Um formato de saída estruturado pode incluir uma opção de incerteza. Teste limiares e sinais de escalonamento com dados rotulados; regras de configuração devem aceitar componentes conhecidos, não executar código arbitrário.
Além das chamadas ao modelo
O consumo de tokens é apenas uma parte do custo do sistema. Um vídeo em inglês do canal Cloud With Raj também aborda gestão de contexto, processamento em lotes, cache semântico, limpeza de documentos usados em geração aumentada por recuperação (RAG), escolhas de armazenamento vetorial, destilação de modelos e infraestrutura. São temas para analisar em suas respectivas etapas, não taxas garantidas de economia.
Como equilibrar custo, qualidade e latência
Antes de alterar o fluxo ou escolher outro modelo, defina um piso de qualidade, um teto de custo, uma meta de latência e as exigências de conformidade. Avalie as alternativas com exemplos rotulados da tarefa e acompanhe o custo por resultado bem-sucedido. Uma rota mais barata não serve se deixar de cumprir os requisitos do sistema.
Mantenha uma forma de reverter a mudança e monitore alterações no comportamento dos dados, que podem reduzir a eficácia de regras ou classificadores. Assim, a comparação considera tanto o gasto quanto a qualidade que o fluxo precisa entregar.