Em dezembro de 2024, uma equipe de pesquisadores liderada pela Carnegie Mellon University publicou o TheAgentCompany, um teste com 175 tarefas reais de escritório — abrir um chamado, atualizar uma planilha financeira, revisar um cadastro, fechar um relatório de projeto — dentro de um ambiente simulado com as mesmas ferramentas usadas em qualquer empresa. Resultado: mesmo o agente de IA com melhor desempenho completou sozinho apenas 30% das tarefas.
O detalhe que importa não é o número isolado, é o contexto em que ele apareceu. Aquele teste foi desenhado ponto por ponto para flagrar exatamente onde e como o agente errava: cada tarefa tinha etapas de verificação programadas, e um avaliador conferia o resultado contra o esperado. É o oposto do que acontece quando uma empresa comum coloca um agente para rodar uma rotina: ninguém programou uma verificação a cada etapa, e o resultado errado segue seu caminho normal, vira e-mail, vira número numa planilha, vira resposta para um cliente.
Segundo o relatório The GenAI Divide, do MIT NANDA, publicado em agosto de 2025 com base em mais de 300 iniciativas de IA analisadas e 150 entrevistas com líderes empresariais, 95% dos projetos de IA generativa nas empresas não geram nenhum retorno financeiro mensurável. A Gartner projeta um corte parecido do outro lado do processo: mais de 40% dos projetos de IA agêntica cancelados até o fim de 2027, por custo crescente, valor pouco claro e controle de risco insuficiente. Nenhum dos dois motivos é "o modelo de IA é ruim". O motivo comum é outro: ninguém sabia, com precisão, o que o agente tinha feito até o resultado já estar errado.
O erro que não trava o sistema
Um sistema que trava avisa sozinho: aparece uma mensagem de erro, uma tela, alguém liga para o suporte. Um agente que erra devagar não faz nada disso. Ele termina a tarefa, entrega um resultado com aparência normal e segue em frente. No teste da TheAgentCompany, as tarefas cobriam seis áreas de uma empresa comum: desenvolvimento, gestão de projetos, dados, administrativo, recursos humanos e financeiro. Em nenhuma delas o agente parou quando errou — ele produziu uma resposta, só que errada, com a mesma confiança da resposta certa.
Fora do ambiente controlado do teste, o cenário é pior. Uma pesquisa da Gravitee com cerca de 750 líderes de tecnologia nos Estados Unidos e no Reino Unido, publicada em 2026, encontrou que 90% das empresas têm agentes de IA em produção sem nenhum monitoramento. Em média, apenas 52% das ações desses agentes têm algum tipo de acompanhamento, e só 9,5% das empresas monitoram mais de 81% dos agentes que colocaram para rodar. Metade do trabalho, aproximadamente, acontece sem ninguém olhando.
Para uma empresa brasileira ou latino-americana que está apenas começando a colocar agentes de IA para trabalhar em cobrança, atendimento ou conciliação de notas fiscais, esse é o momento certo de decidir isso antes, não depois de um trimestre de números errados. A vantagem de quem entra agora é poder copiar o desenho certo desde o primeiro agente, em vez de descobrir o problema quando ele já virou uma auditoria.
O problema também cresce sozinho quando o agente trabalha em etapas: se a segunda etapa usa o resultado errado da primeira como se fosse verdade, o erro não fica do tamanho de uma resposta, vira do tamanho de um processo inteiro. É o mecanismo que torna o erro em silêncio mais caro que o erro que trava: ele tem tempo de se espalhar antes de alguém perceber que existe.
O ponto cego dos painéis de sucesso
A resposta mais comum a esses números é instalar um painel: quantas tarefas o agente concluiu, qual a taxa de sucesso, quanto tempo levou cada execução. Isso mede se o agente rodou. Não mede se o que ele produziu estava certo. São perguntas diferentes, e confundir uma com a outra é exatamente o que os números acima descrevem.
O relatório do MIT NANDA chega à mesma conclusão por outro caminho. Os autores atribuem os 95% de projetos sem retorno mensurável não à qualidade dos modelos de IA usados, mas à forma como as empresas integraram esses agentes ao trabalho de verdade, sem um processo desenhado para checar, etapa por etapa, o que estava saindo. Só 5% dos projetos analisados geravam ganho financeiro claro, e o traço comum entre eles era esse: integração real com o trabalho, não um piloto isolado.
A Gartner projeta um corte parecido do lado do orçamento, e o motivo que ela cita — controle de risco insuficiente — aponta para o mesmo buraco. Quando alguém finalmente pergunta quem responde por um agente, a resposta costuma faltar: a mesma pesquisa da Gravitee mediu que apenas 7,2% das empresas têm uma pessoa nomeada com responsabilidade formal pelo comportamento de um agente de IA. Na maioria, a resposta é "não está definido", "é de todo mundo" ou simplesmente nunca foi discutida.
Sem essa pessoa, mesmo um painel bem-feito não ajuda. Alguém precisa olhar o número errado e ter autoridade — e obrigação — de investigar por que ele está errado. Painel sem dono é gráfico decorativo.
O que precisa existir na prática
Um ambiente que detecta o erro cedo se define por mecanismos verificáveis, não por mais um painel.
Aprovação humana antes de uma ação sensível. O agente para e pede confirmação de uma pessoa antes de agir — enviar um documento, mudar um cadastro, liberar um pagamento — em vez de seguir sozinho até o fim. É o ponto em que um erro é interrompido antes de virar consequência.
Trilha de auditoria por etapa executada, não só do resultado final. Registrar apenas a resposta pronta não diz onde o erro entrou. Registrar cada etapa permite reconstruir exatamente o que o agente fez, com qual informação, e corrigir só o passo que falhou.
Conhecimento aprovado, com fonte identificável. Quando a resposta se apoia em um documento com dono e versão vigente, em vez de uma suposição do próprio agente, fica mais fácil checar se ela está certa e mais difícil que um erro pareça verdade só porque soa bem escrito.
Acesso conforme o papel de cada pessoa e de cada agente. Um agente só alcança os sistemas e as funções que a tarefa exige. Quando ele erra, o estrago fica do tamanho do que ele podia tocar, não do tamanho da empresa inteira.
Um responsável nomeado por agente, não por área. Cada agente tem uma pessoa que responde por ele: quem revisa o comportamento, quem é avisado quando algo foge do esperado, quem decide se o agente continua rodando. Sem esse nome, a pergunta "quem viu isso primeiro" não tem resposta.
É assim que a Skyller foi desenhada: aprovação humana antes de ações sensíveis, trilha de auditoria por etapa e conhecimento apoiado em fontes com dono, para que um erro apareça em dias, não em um trimestre de relatórios errados.
Da falha silenciosa ao alarme cedo
O ganho mais fácil de defender é o óbvio: menos risco. Mas o que muda o dia a dia da equipe é outro efeito, menos falado. Quando existe aprovação por risco e trilha por etapa, o erro para de esperar uma auditoria trimestral para aparecer — ele surge na hora em que alguém revisa a etapa seguinte, porque a etapa anterior está registrada e visível.
A diferença entre reconstruir o que aconteceu em minutos e não conseguir reconstruir é a distância entre um erro que custa uma correção e um erro que custa um trimestre de decisões erradas em cima dele. E reconstruir cedo é justamente o traço que separa os projetos de IA que aparecem nos 5% de retorno mensurável do MIT NANDA dos que ficam nos 95% que nunca decolam: não é o modelo, é o processo em volta.
Há um ganho de confiança da equipe, também. Quando existe um responsável nomeado e uma aprovação clara para decisões sensíveis, quem usa o agente no dia a dia para de carregar sozinho a dúvida sobre se aquilo está certo. A pessoa sabe onde o processo intercepta o erro antes dele chegar ao cliente ou à liderança, e passa a confiar no agente para o que ele resolve bem, sem precisar reconferir cada linha manualmente.
Perguntas para testar antes de confiar
Antes de aprovar o próximo agente, ou de continuar confiando no que já está rodando, vale responder a estas perguntas com quem opera e com quem decide:
- Alguém revisa o resultado antes dele virar decisão, ou só depois? Se a checagem só acontece depois que o documento já foi enviado ou o cadastro já mudou, o ponto de verificação está no lugar errado.
- Existe registro de cada etapa que o agente executou, não só do resultado final? Sem isso, um erro descoberto tarde não tem como ser rastreado até a etapa que o causou.
- Quem é a pessoa que responde quando este agente erra? Se a resposta for "a equipe" ou "TI, em geral", ainda não existe um responsável — existe uma lacuna.
- Com que frequência alguém compara, de fato, o que o agente disse com a fonte correta? Uma checagem que nunca acontece na prática vale o mesmo que nenhuma.
- Se este agente errasse hoje, em quanto tempo alguém perceberia? Se a resposta for "não sei" ou "só na próxima auditoria", o agente já está errando em silêncio — só ainda não foi descoberto.
