IA
Quanto custa rodar um agente de IA e como controlar esse custo
Um agente de IA parece barato no teste: algumas conversas, alguns centavos. A surpresa vem com o volume. Sem medir, a empresa descobre no fim do mês uma fatura que ninguém sabe explicar. Com medição, o custo vira um número previsível, por conversa, que dá para comparar com o valor que o agente entrega.
Como a IA é cobrada
Os modelos de linguagem cobram por tokens, que são pedaços de palavra. Tudo o que o modelo lê conta como entrada, e tudo o que ele escreve conta como saída. A saída costuma ser mais cara que a entrada, e modelos mais capazes custam mais por token que os modelos menores.
O ponto que mais confunde: a cada mensagem do cliente, o modelo não lê só a mensagem nova. Ele relê tudo o que precisa para responder:
- as instruções do agente (quem ele é, como fala, o que pode e não pode);
- a base de conhecimento relevante;
- a descrição das ferramentas que ele pode usar;
- o histórico da conversa até ali.
Em um agente bem construído, esse contexto fixo é muito maior que a mensagem do cliente. É ele que domina a conta.
O que entra no custo além do modelo
O custo do modelo é só uma linha. O custo total de um agente inclui:
- Canal. No WhatsApp pela API oficial, existem tarifas da própria plataforma, que variam por tipo de conversa e por país.
- Outros serviços de IA. Transcrição de áudio, busca na base de conhecimento, classificação.
- Infraestrutura. Servidor, banco de dados, monitoramento.
- Manutenção. Alguém acompanha as conversas, ajusta as regras e atualiza a base. É o item mais esquecido.
Os preços mudam com frequência. Consulte sempre a tabela oficial do fornecedor antes de fazer conta, e desconfie de qualquer número fixo que você ler por aí, inclusive em artigos.
O que faz o custo subir sem ninguém perceber
- Instruções que crescem. Cada ajuste vira mais um parágrafo. Em poucos meses, o agente relê um texto enorme a cada mensagem.
- Base de conhecimento enviada inteira. Mandar todos os documentos em toda conversa, em vez de só o trecho relevante.
- Conversas longas. O histórico cresce e é relido a cada turno.
- Modelo grande para tarefa pequena. Usar o modelo mais caro para classificar uma mensagem como "dúvida" ou "reclamação".
- Chamadas repetidas. O agente consulta três ferramentas e o modelo é acionado de novo a cada resultado.
- Mensagens que não deveriam chegar ao modelo. Figurinha, "ok", "obrigado".
Como controlar
Meça por conversa
Registre, para cada conversa, quantos tokens entraram e saíram, qual modelo foi usado e quanto isso custou. Sem essa medida, todo o resto é palpite. Com ela, você descobre quais tipos de conversa custam mais e por quê.
Use cache de contexto
Os principais fornecedores oferecem cache: quando o início do contexto se repete de uma chamada para outra, essa parte é cobrada com desconto. Como instruções e base de conhecimento se repetem em toda mensagem, o efeito pode ser grande.
Para aproveitar, a ordem importa. A parte que não muda vem primeiro e precisa ser idêntica a cada chamada. O que varia, como a data, o nome do cliente e a mensagem nova, vai para o fim. Um detalhe pequeno, como colocar a hora atual no topo das instruções, basta para anular o cache. As regras exatas e o tamanho do desconto variam por fornecedor e mudam com o tempo, então vale ler a documentação.
Escolha o modelo por tarefa
Triagem, classificação e resumo curto funcionam bem em modelos menores e mais baratos. O modelo mais capaz fica para a conversa em si, onde a qualidade da resposta é percebida pelo cliente.
Envie só o que é preciso
Em vez de mandar a base inteira, busque os trechos relacionados à pergunta. Em vez de carregar o histórico completo de uma conversa longa, resuma o que já passou. Explicamos a organização da base em Como treinar um agente de IA com a base de conhecimento da empresa.
Filtre antes do modelo
Regras simples resolvem o que não precisa de IA: mensagem vazia, saudação repetida, pedido para parar de receber. Cada chamada evitada custa zero.
Coloque limites
Teto de gasto por dia, limite de turnos por conversa e alerta quando o custo médio sair da faixa esperada. Limite não é desconfiança do agente, é o mesmo cuidado que se tem com qualquer despesa variável.
Custo de IA não se controla trocando de fornecedor a cada novidade. Controla-se desenhando o sistema para reler menos e medir tudo.
Como saber se vale a pena
O custo por conversa só faz sentido ao lado do que a conversa entrega. Compare com:
- o tempo de uma pessoa para fazer o mesmo atendimento;
- os contatos que hoje ficam sem resposta à noite e no fim de semana;
- a velocidade da primeira resposta, que pesa na qualificação. Um estudo publicado na Harvard Business Review em 2011 (Oldroyd, McElheran e Elkington) mostrou que empresas que tentaram contato em até 1 hora tiveram quase 7 vezes mais chance de qualificar o lead do que as que tentaram 1 hora depois.
Não existe número universal. Uma conversa que custa pouco e não resolve nada é cara. Uma que custa mais e entrega um contato qualificado ao vendedor pode ser barata. A conta precisa ser feita com os seus dados.
Um exemplo para visualizar
Imagine uma escola de idiomas que coloca um agente para atender interessados. No primeiro mês, a fatura assusta. Olhando o registro por conversa, a equipe vê que o agente relê o catálogo inteiro de cursos a cada mensagem e que a data do dia está na primeira linha das instruções. Reorganizando o contexto para a parte fixa vir antes e buscando só o curso perguntado, o custo por conversa cai, sem trocar de modelo e sem mudar a qualidade da resposta. Quanto cai depende de cada caso. O caminho é o mesmo.
Por onde começar
Se você já tem um agente, ligue o registro de tokens e custo por conversa hoje. Em uma semana, os três maiores vilões aparecem sozinhos. Se ainda vai construir, coloque a medição no escopo desde o primeiro dia, junto com as regras que descrevemos em Agente de IA no WhatsApp.
Agentes de IA com custo medido por conversa fazem parte dos serviços da delpra™.
Escrito pela equipe delpra™Processos, automação e IA para a operação escalar com eficiência.