Inteligência artificial
Agentes de IA na empresa: o que eles podem fazer sozinhos?
Entenda como definir a autonomia de agentes de IA, controlar permissões e preparar a operação para aprovações, falhas e ações duplicadas.
Uma aplicação de IA pode consultar documentos e preparar uma resposta, como em uma solução com RAG. Quando recebe acesso a ferramentas, também pode atualizar um cadastro, abrir um chamado ou enviar uma mensagem.
Essa capacidade cria oportunidades para reduzir tarefas repetitivas, mas muda as consequências de um erro. Uma orientação inadequada pode ser corrigida antes do envio; uma alteração já executada pode afetar clientes e outros sistemas.
A autonomia precisa ser definida por operação, considerando o impacto, as permissões e a possibilidade de recuperação.
O que muda quando a IA executa ações
Neste artigo, um agente é uma aplicação que usa um modelo para decidir passos e solicitar ações por meio de ferramentas. A execução envolve software, integrações e regras de acesso além do modelo.
Considere um exemplo hipotético: um assistente que recebe pedidos de alteração de endereço de entrega. Ele consulta o pedido, verifica sua etapa e propõe a atualização dos dados.
Consultar o status, preparar uma proposta e efetivar a mudança são operações com riscos diferentes. Depois que a entrega foi despachada, a mesma alteração pode exigir outro procedimento.
Se o processo tiver etapas estáveis e regras bem definidas, parte dele pode ser executada por uma automação convencional. Vale reservar a participação do modelo para situações em que interpretar a solicitação ou escolher o próximo passo traz benefício.
Defina a autonomia para cada operação
Liste o que o agente pode consultar, propor e executar. Para cada ação, identifique os dados envolvidos, o efeito esperado e quem responde por sua autorização.
Uma política inicial para o exemplo poderia ser:
| Operação | Condição de execução |
|---|---|
| Consultar o status | Acesso verificado ao pedido e aos dados necessários. |
| Preparar a alteração | Proposta sem efeito no sistema de entrega. |
| Alterar antes do despacho | Validação das regras e autorização previstas pela empresa. |
| Alterar depois do despacho | Encaminhamento ao processo responsável pela exceção. |
| Enviar confirmação ao cliente | Destinatário e conteúdo conferidos conforme a política de comunicação. |
Esse recorte é uma decisão de projeto para o cenário. Outras empresas podem exigir aprovação em etapas diferentes.
A OWASP descreve autonomia, funcionalidades e permissões excessivas como causas de ações prejudiciais em sistemas de IA. Limitar apenas o que o agente pode dizer deixa aberta a questão do que suas ferramentas podem fazer.
As permissões precisam ser verificadas fora do modelo
A aplicação deve conferir a identidade de quem solicita a ação, o recurso afetado e as condições para executá-la. Um identificador de pedido recebido na conversa não prova que o usuário tenha acesso a ele.
A orientação de autorização da OWASP recomenda permissões mínimas e validação em cada requisição. Em um agente, isso também se aplica a cada chamada de ferramenta.
Prefira operações específicas, como atualizar um campo autorizado, a interfaces capazes de executar qualquer comando. As credenciais utilizadas pela integração devem ter o escopo necessário para aquela tarefa.
Documentos e resultados de ferramentas podem conter instruções maliciosas. Mesmo que influenciem a decisão do modelo, uma operação fora das permissões precisa continuar sendo bloqueada pelo software que executa a ação.
Uma aprovação precisa corresponder ao que será executado
Para ações que exigem revisão humana, apresente a proposta de forma concreta: qual pedido será alterado, quais dados mudarão e qual será o efeito.
Uma confirmação genérica de “continuar” oferece pouca informação para quem aprova. Se o destinatário ou os parâmetros mudarem depois da revisão, a aprovação anterior não deve autorizar automaticamente a nova operação.
O guia de segurança de agentes da OWASP recomenda vincular a aprovação à ação exata e validar seu estado antes da execução.
A aprovação deve ter validade limitada e ser verificada pelo componente de execução, vinculada à identidade de quem autorizou e à operação proposta. Seu uso precisa ser controlado para impedir que chamadas simultâneas ou repetidas reutilizem a mesma autorização.
Confira novamente as condições relevantes no momento de aplicar a mudança. No exemplo, o pedido pode ter sido despachado entre a proposta e a aprovação. A operação precisa respeitar o estado atual, mesmo que o rascunho estivesse correto quando foi preparado.
A revisão humana funciona melhor quando a pessoa tem informações e tempo para avaliar a decisão. Um fluxo com confirmações constantes e pouco contexto pode estimular aprovações sem conferência.
Prepare o fluxo para falhas e repetições
Uma integração pode aplicar a alteração e perder a conexão antes de confirmar o resultado. Para o agente, isso pode parecer uma falha. Repetir a chamada sem conferir o estado pode duplicar uma ação.
A ideia de idempotência é que repetir uma mesma operação mantenha o efeito pretendido de uma única execução. A RFC 9110 descreve essa propriedade para métodos HTTP e as condições de repetição de requisições.
Na aplicação, avalie identificadores de operação, registros de estado e mecanismos de deduplicação compatíveis com as integrações utilizadas. A proteção precisa funcionar no sistema que aplica o efeito; apenas instruir o modelo a não repetir não resolve.
Diferencie falha confirmada de resultado desconhecido. Antes de tentar novamente uma ação com efeito externo, consulte seu estado quando possível. Se não houver como confirmar, encaminhe a situação para tratamento.
Nem toda ação admite reversão completa. Uma mensagem enviada pode já ter sido lida. Defina como interromper execuções, corrigir dados e tratar efeitos que não podem ser desfeitos.
Registre a execução e teste os limites
Mantenha registros suficientes para reconstruir a operação: solicitação, identidade, ferramenta utilizada, parâmetros relevantes, aprovação quando exigida e resultado confirmado pelo sistema.
Proteja esses registros e evite armazenar credenciais ou conteúdo sensível sem necessidade. O texto produzido pelo modelo não deve ser tratado como comprovação de que uma ação aconteceu; a confirmação precisa vir da integração.
Como explicamos no artigo sobre avaliação de IA no dia a dia, os testes precisam representar situações da rotina e exceções relevantes.
No piloto, teste tentativas de agir sobre pedidos de outro cliente, mudança de estado durante a aprovação, respostas ambíguas da ferramenta e repetição após falha de conexão.
Defina limites de duração, quantidade de chamadas e custo. Um agente que continua tentando resolver um problema pode consumir recursos ou executar várias ações sem aproximar a operação do resultado esperado.
Comece com um processo delimitado, acompanhe intervenções e amplie a autonomia conforme a evidência de funcionamento dos controles.
Como a Fidalgo IT Solutions pode ajudar
A Fidalgo IT Solutions pode apoiar a identificação de tarefas adequadas para agentes, a definição das permissões e a integração com os sistemas existentes.
O trabalho pode incluir aprovações, registros de execução, tratamento de falhas e testes de limites de autonomia. O objetivo é reduzir esforço operacional com ações verificáveis e um caminho claro de recuperação quando algo não funciona como esperado.
Conheça nossa oferta de Inteligência Artificial para empresas para planejar um piloto com a sua equipe.
