IA

Quanto custa rodar um agente de IA e como controlar esse custo

Equipe delpra™6 min de leitura

Um agente de IA parece barato no teste: algumas conversas, alguns centavos. A surpresa vem com o volume. Sem medir, a empresa descobre no fim do mês uma fatura que ninguém sabe explicar. Com medição, o custo vira um número previsível, por conversa, que dá para comparar com o valor que o agente entrega.

Como a IA é cobrada

Os modelos de linguagem cobram por tokens, que são pedaços de palavra. Tudo o que o modelo lê conta como entrada, e tudo o que ele escreve conta como saída. A saída costuma ser mais cara que a entrada, e modelos mais capazes custam mais por token que os modelos menores.

O ponto que mais confunde: a cada mensagem do cliente, o modelo não lê só a mensagem nova. Ele relê tudo o que precisa para responder:

  • as instruções do agente (quem ele é, como fala, o que pode e não pode);
  • a base de conhecimento relevante;
  • a descrição das ferramentas que ele pode usar;
  • o histórico da conversa até ali.

Em um agente bem construído, esse contexto fixo é muito maior que a mensagem do cliente. É ele que domina a conta.

O que entra no custo além do modelo

O custo do modelo é só uma linha. O custo total de um agente inclui:

  • Canal. No WhatsApp pela API oficial, existem tarifas da própria plataforma, que variam por tipo de conversa e por país.
  • Outros serviços de IA. Transcrição de áudio, busca na base de conhecimento, classificação.
  • Infraestrutura. Servidor, banco de dados, monitoramento.
  • Manutenção. Alguém acompanha as conversas, ajusta as regras e atualiza a base. É o item mais esquecido.

Os preços mudam com frequência. Consulte sempre a tabela oficial do fornecedor antes de fazer conta, e desconfie de qualquer número fixo que você ler por aí, inclusive em artigos.

O que faz o custo subir sem ninguém perceber

  1. Instruções que crescem. Cada ajuste vira mais um parágrafo. Em poucos meses, o agente relê um texto enorme a cada mensagem.
  2. Base de conhecimento enviada inteira. Mandar todos os documentos em toda conversa, em vez de só o trecho relevante.
  3. Conversas longas. O histórico cresce e é relido a cada turno.
  4. Modelo grande para tarefa pequena. Usar o modelo mais caro para classificar uma mensagem como "dúvida" ou "reclamação".
  5. Chamadas repetidas. O agente consulta três ferramentas e o modelo é acionado de novo a cada resultado.
  6. Mensagens que não deveriam chegar ao modelo. Figurinha, "ok", "obrigado".

Como controlar

Meça por conversa

Registre, para cada conversa, quantos tokens entraram e saíram, qual modelo foi usado e quanto isso custou. Sem essa medida, todo o resto é palpite. Com ela, você descobre quais tipos de conversa custam mais e por quê.

Use cache de contexto

Os principais fornecedores oferecem cache: quando o início do contexto se repete de uma chamada para outra, essa parte é cobrada com desconto. Como instruções e base de conhecimento se repetem em toda mensagem, o efeito pode ser grande.

Para aproveitar, a ordem importa. A parte que não muda vem primeiro e precisa ser idêntica a cada chamada. O que varia, como a data, o nome do cliente e a mensagem nova, vai para o fim. Um detalhe pequeno, como colocar a hora atual no topo das instruções, basta para anular o cache. As regras exatas e o tamanho do desconto variam por fornecedor e mudam com o tempo, então vale ler a documentação.

Escolha o modelo por tarefa

Triagem, classificação e resumo curto funcionam bem em modelos menores e mais baratos. O modelo mais capaz fica para a conversa em si, onde a qualidade da resposta é percebida pelo cliente.

Envie só o que é preciso

Em vez de mandar a base inteira, busque os trechos relacionados à pergunta. Em vez de carregar o histórico completo de uma conversa longa, resuma o que já passou. Explicamos a organização da base em Como treinar um agente de IA com a base de conhecimento da empresa.

Filtre antes do modelo

Regras simples resolvem o que não precisa de IA: mensagem vazia, saudação repetida, pedido para parar de receber. Cada chamada evitada custa zero.

Coloque limites

Teto de gasto por dia, limite de turnos por conversa e alerta quando o custo médio sair da faixa esperada. Limite não é desconfiança do agente, é o mesmo cuidado que se tem com qualquer despesa variável.

Custo de IA não se controla trocando de fornecedor a cada novidade. Controla-se desenhando o sistema para reler menos e medir tudo.

Como saber se vale a pena

O custo por conversa só faz sentido ao lado do que a conversa entrega. Compare com:

  • o tempo de uma pessoa para fazer o mesmo atendimento;
  • os contatos que hoje ficam sem resposta à noite e no fim de semana;
  • a velocidade da primeira resposta, que pesa na qualificação. Um estudo publicado na Harvard Business Review em 2011 (Oldroyd, McElheran e Elkington) mostrou que empresas que tentaram contato em até 1 hora tiveram quase 7 vezes mais chance de qualificar o lead do que as que tentaram 1 hora depois.

Não existe número universal. Uma conversa que custa pouco e não resolve nada é cara. Uma que custa mais e entrega um contato qualificado ao vendedor pode ser barata. A conta precisa ser feita com os seus dados.

Um exemplo para visualizar

Imagine uma escola de idiomas que coloca um agente para atender interessados. No primeiro mês, a fatura assusta. Olhando o registro por conversa, a equipe vê que o agente relê o catálogo inteiro de cursos a cada mensagem e que a data do dia está na primeira linha das instruções. Reorganizando o contexto para a parte fixa vir antes e buscando só o curso perguntado, o custo por conversa cai, sem trocar de modelo e sem mudar a qualidade da resposta. Quanto cai depende de cada caso. O caminho é o mesmo.

Por onde começar

Se você já tem um agente, ligue o registro de tokens e custo por conversa hoje. Em uma semana, os três maiores vilões aparecem sozinhos. Se ainda vai construir, coloque a medição no escopo desde o primeiro dia, junto com as regras que descrevemos em Agente de IA no WhatsApp.

Agentes de IA com custo medido por conversa fazem parte dos serviços da delpra™.

Escrito pela equipe delpra™Processos, automação e IA para a operação escalar com eficiência.

Em que nível está a sua operação?

O Diagnóstico de Maturidade Operacional leva 4 minutos e mostra por onde começar.

Fazer o diagnóstico grátis

Leia também