Para comparar os custos de um fluxo de IA generativa, meça o volume de solicitações, a parcela que as regras conseguem resolver e o custo de cada etapa. A AWS recomenda reservar código determinístico para regras verificáveis, decisões restritas para escolhas entre opções fixas e modelos dimensionados para tarefas abertas. O exemplo da AWS em que regras resolvem 95% das solicitações é apenas ilustrativo, não uma economia medida em um sistema real. (AWS)

Antes de trocar de modelo, descubra quais etapas do fluxo realmente precisam de um.

Como comparar os custos do seu fluxo

Em uma tarefa de classificação, compare o custo de enviar todas as solicitações a um modelo com o custo de executar primeiro uma regra e encaminhar os casos restantes a uma decisão restrita:

  • Somente modelo: N × C_M
  • Regra e decisão restrita: N × C_R + N × (1 − r) × C_D

N é o número de solicitações; r, a proporção que as regras resolvem; C_M, o custo por classificação com modelo; C_R, o custo por execução da regra; e C_D, o custo por decisão restrita para cada caso não resolvido pela regra. A conta pressupõe que os caminhos atendam ao mesmo padrão de resultado. Some separadamente diferenças de infraestrutura, avaliação e operação. Se a decisão restrita encaminhar alguns casos a um modelo generativo, inclua também o custo dessas chamadas.

O exemplo da AWS com 95% de solicitações resolvidas pelas regras deixa 1 em 20 chegar a um modelo. É uma conta hipotética, não uma taxa de resolução que outras equipes devam esperar. Para avaliar seu fluxo, use a proporção observada nos próprios dados e contabilize o custo de cada caminho.

Que tarefas combinam com cada caminho?

A escolha depende do tipo de trabalho: uma regra clara pode validar dados; uma decisão restrita pode selecionar uma opção de uma lista; e um modelo generativo pode lidar com uma resposta aberta.

Tarefa do fluxoCaminhoPor que se encaixaPonto de atenção
Conferir formato do pedido, esquema, palavra-chave ou faixa numéricaCódigo determinísticoO resultado pode ser definido por regras explícitasRevise as regras quando os formatos ou critérios mudarem
Classificar uma intenção entre categorias fixasDecisão restrita, após regras aplicáveisA resposta deve pertencer a um conjunto delimitadoEncaminhe casos incertos para avaliação ou escalonamento
Escolher uma fila de atendimento predefinidaDecisão restritaA tarefa é selecionar entre destinos conhecidosAvalie a seleção com exemplos rotulados da tarefa
Redigir uma resposta personalizadaModelo generativo dimensionado para a tarefaA resposta exige texto aberto, não apenas uma escolha fixaVerifique qualidade, latência e custo por resultado útil

No exemplo de atendimento descrito pela AWS, o código verifica o formato do pedido e padrões conhecidos de rastreamento; um caminho rápido e uma decisão restringem o encaminhamento por intenção; a seleção da fila é uma escolha entre opções; e o modelo redige a resposta. Essa divisão ajuda a evitar chamadas em etapas que têm uma condição verificável ou um conjunto fechado de respostas.

Para escolhas fixas, as opções citadas pela AWS incluem saídas estruturadas, similaridade entre embeddings, um classificador treinado e o Strands Decider, descrito como experimental. Um formato de saída estruturado pode incluir uma opção de incerteza. Teste limiares e sinais de escalonamento com dados rotulados; regras de configuração devem aceitar componentes conhecidos, não executar código arbitrário.

Além das chamadas ao modelo

Em inglês, Cloud With Raj percorre ideias para reduzir custos de IA generativa, de contexto e processamento em lotes a cache semântico, RAG e infraestrutura.

O consumo de tokens é apenas uma parte do custo do sistema. Um vídeo em inglês do canal Cloud With Raj também aborda gestão de contexto, processamento em lotes, cache semântico, limpeza de documentos usados em geração aumentada por recuperação (RAG), escolhas de armazenamento vetorial, destilação de modelos e infraestrutura. São temas para analisar em suas respectivas etapas, não taxas garantidas de economia.

Como equilibrar custo, qualidade e latência

Antes de alterar o fluxo ou escolher outro modelo, defina um piso de qualidade, um teto de custo, uma meta de latência e as exigências de conformidade. Avalie as alternativas com exemplos rotulados da tarefa e acompanhe o custo por resultado bem-sucedido. Uma rota mais barata não serve se deixar de cumprir os requisitos do sistema.

Mantenha uma forma de reverter a mudança e monitore alterações no comportamento dos dados, que podem reduzir a eficácia de regras ou classificadores. Assim, a comparação considera tanto o gasto quanto a qualidade que o fluxo precisa entregar.