Em maio de 2024, pesquisadores da Universidade Stanford publicaram o primeiro estudo pré-registrado sobre a confiabilidade de ferramentas de IA voltadas para pesquisa jurídica. O resultado: as duas principais plataformas do mercado, feitas por grandes editoras jurídicas, erram ou inventam algo — uma citação que não existe, ou uma afirmação de que um documento diz o que ele não diz — entre 17% e 33% das vezes. Um modelo de propósito geral, sem nenhum ajuste para a tarefa, errou em até 82% das perguntas jurídicas testadas.
O motivo de esse dado importar além do direito é simples: nenhuma dessas respostas chegava marcada como "não confio nisso". Todas vinham no mesmo tom seguro, bem escritas, com aparência de pesquisa completa. A diferença entre a resposta certa e a errada não estava visível no texto — só ficava visível para quem conferia a fonte.
Esse é o problema que qualquer empresa que usa IA para responder sobre política interna, contrato ou processo enfrenta, mesmo fora do direito: uma resposta plausível sem origem verificável não é informação. É uma opinião com aparência de dado.
Para empresas brasileiras e latino-americanas que colocam a IA para responder dúvidas sobre normas internas — política de reembolso, prazo de férias, cláusula de um contrato —, o risco é o mesmo em escala menor: cada resposta convincente e errada vira uma decisão tomada sobre uma base que não existe.
O risco da resposta convincente
Fora dos tribunais, o mesmo tipo de erro aparece em decisões menores e muito mais frequentes: uma política de reembolso desatualizada citada como se fosse a vigente, um teto de despesa que mudou há dois meses e que a IA repete do jeito antigo, uma cláusula de contrato interpretada fora do contexto do parágrafo seguinte. Nenhum desses casos vira notícia. Todos custam dinheiro e tempo do mesmo jeito, só que em silêncio, sem ninguém escrevendo uma reportagem sobre isso.
Em março de 2026, um tribunal federal do Oregon julgou um caso que mostra esse risco fora do laboratório. Ao longo de cinco meses, advogados de uma das partes apresentaram três petições diferentes contendo 15 citações de processos que não existiam e 8 trechos "citados" de decisões que nunca diziam aquilo. O tribunal multou o advogado responsável em US$ 15.500, descartou as petições e encerrou o processo daquela parte com prejuízo — a sanção mais dura, reservada a quem, segundo o próprio tribunal, não demonstrou nenhum arrependimento ao ser confrontado.
O caso não é isolado. Pesquisadores mantêm hoje um registro público só para rastrear decisões judiciais em que conteúdo gerado por IA com citação inventada chegou a um tribunal — sinal de que o problema deixou de ser incidente raro para virar padrão reconhecido, com centenas de casos catalogados.
A definição usada pelos pesquisadores de Stanford ajuda a entender por que isso continua acontecendo: uma resposta com erro grave não é só uma informação inventada do zero. É também uma citação real, de um documento real, usada para sustentar algo que aquele documento não diz. Essa segunda forma é mais perigosa porque passa por qualquer checagem superficial — a fonte existe, só a conexão entre ela e o que foi afirmado é que é falsa.
Por que o tom não basta
A reação mais comum ao ouvir esse tipo de dado é buscar uma ferramenta "melhor", ou confiar que o modelo mais recente resolve o problema sozinho. O próprio estudo de Stanford mostra os limites dessa aposta: as ferramentas testadas foram construídas especificamente para pesquisa jurídica, com acesso a bases de dados legais reais — e mesmo assim, uma delas errou em 1 a cada 3 respostas. Trocar de modelo de IA sem mudar a estrutura em volta dele resolve pouco, porque o problema não é o quanto o modelo "sabe": é que nada na estrutura obriga a resposta a apontar de onde ela veio.
A outra reação comum é confiar na revisão humana genérica — "alguém sempre confere depois". Só que revisão sem processo definido tende a acontecer só quando algo já deu errado, não antes. É o mesmo padrão visto nos casos de citação inventada em tribunais: a maioria só foi descoberta porque a parte contrária, ou o próprio juiz, conferiu manualmente cada referência — um trabalho que a estrutura deveria ter feito antes de o documento sair.
O que falta nos dois casos é o mesmo: um vínculo obrigatório entre resposta e origem, e uma etapa de aprovação definida antes de um conteúdo crítico virar conhecimento oficial que a IA usa depois.
O que precisa existir na prática
Conhecimento com dono, versão vigente e escopo por área. Cada documento que alimenta a IA tem uma pessoa responsável, uma versão identificada como a vigente e um escopo definido — vale para toda a empresa, ou só para uma área? Sem isso, uma política revogada há dois anos concorre em pé de igualdade com a atual.
Respostas que podem citar a fonte usada. Quando uma resposta indica de qual documento ela veio, quem recebe a resposta consegue conferir em segundos — a mesma checagem que, no caso das ferramentas jurídicas, só um especialista treinado consegue fazer manualmente.
Revisão e aprovação em duas etapas para documentos críticos. Antes de um documento sensível virar conhecimento que a IA usa para responder, ele passa por quem escreveu e por quem aprova, com segregação de funções e exceções registradas. Isso não significa aprovar toda resposta gerada pela IA; significa aprovar o material que vai alimentar as respostas.
Trilha de quem aprovou o quê e quando. Numa auditoria, ou numa dúvida sobre uma resposta específica, reconstruir a origem em minutos é a diferença entre resolver o caso e não conseguir provar nada.
É assim que a Skyller foi desenhada: conhecimento corporativo com fonte, revisão em duas etapas para documentos críticos, e respostas que podem citar de onde vieram.
O ganho de decidir com base rastreável
Quando a resposta pode ser conferida em segundos, a velocidade de decisão muda na prática: quem recebe a resposta não precisa escolher entre confiar cegamente ou parar tudo para investigar por conta própria. A checagem vira parte do fluxo de trabalho, não uma etapa extra que ninguém tem tempo de fazer.
Há também um efeito que só aparece depois de um tempo: quando cada resposta carrega a fonte, fica visível quais documentos estão desatualizados, se contradizem entre si, ou nunca são consultados de fato. A empresa passa a enxergar o próprio acervo de conhecimento com uma clareza que nenhuma auditoria manual alcança — porque cada consulta da IA é, na prática, um teste de uso real daquele documento.
O custo de não ter isso raramente aparece de uma vez. Ele se acumula em decisões pequenas que ninguém audita, até que uma delas vira um problema grande o suficiente para alguém perguntar de onde veio aquela informação — e a resposta ser "não sei, a IA disse".
E existe o ganho mais direto: nenhuma decisão de negócio deveria se apoiar numa resposta que ninguém consegue rastrear até a origem. Isso vale tanto para um contrato quanto para uma política de reembolso — o tamanho do documento muda, o princípio não.
Um roteiro para começar
- Escolha primeiro os documentos que mais geram dúvida ou decisão sensível. Não é preciso organizar todo o acervo de uma vez — comece pelos poucos documentos que, se errados, custam mais caro.
- Defina quem é o dono de cada um. Sem um responsável nomeado, ninguém atualiza a versão nem percebe quando ela ficou desatualizada.
- Configure a revisão em duas etapas só para o que for crítico. Um documento operacional de baixo risco não precisa do mesmo processo que uma política financeira ou jurídica.
- Exija que a resposta cite a fonte usada. Se a ferramenta não permite isso, ela não deveria estar respondendo sobre nada que a empresa considera oficial.
- Reserve um teste real antes de confiar de vez. Pegue perguntas do dia a dia e confira manualmente as respostas por algumas semanas — o mesmo cuidado que faltou nos casos de citação inventada em tribunais.
