Pesquisadores de Stanford, ao lado de colegas de outras instituições, testaram algo simples: pegaram uma pergunta com resposta certa, colocaram essa resposta em posições diferentes dentro de um texto longo, e mediram se o modelo de IA conseguia encontrá-la. O resultado, publicado em 2024 na revista científica Transactions of the Association for Computational Linguistics, ficou conhecido como "Lost in the Middle" — perdido no meio.
A descoberta: os modelos de IA acertam bem quando a informação certa está no começo ou no fim do material entregue. No meio de um texto longo, o desempenho cai — mesmo em modelos feitos para textos longos, e mesmo quando a resposta certa está ali, escrita, só que cercada de outra informação.
Isso muda a pergunta que a maioria das empresas faz sobre IA. Não é só "o modelo é bom o bastante" — é "o material que a empresa está entregando para a IA ler está organizado de um jeito que ela consegue usar". E, na maioria dos casos, não está.
O manual inteiro em vez do trecho certo
Quando alguém pergunta a uma IA corporativa qual é a política de reembolso da empresa e a resposta vem errada, o primeiro instinto é culpar o modelo. Mas, na prática, é comum a IA ter recebido o manual de recursos humanos inteiro — oitenta páginas, entre benefícios, férias, plano de saúde e reembolso — para encontrar sozinha um parágrafo específico no meio disso.
O achado de "Lost in the Middle" explica por que essa abordagem falha: quanto mais material irrelevante cerca a resposta certa, maior a chance de a IA "perder" essa resposta no meio do caminho, mesmo com toda a capacidade de leitura do mundo. Hoje é fácil confundir capacidade de leitura com qualidade de leitura: um modelo de IA pode conseguir processar um documento gigante de uma vez, dentro do que costuma ser chamado de "janela de contexto" — o quanto a IA consegue ler numa única conversa — e ainda assim ler mal o que está bem no meio dele.
O problema piora quando a empresa entrega documentos conflitantes junto: a política antiga ainda no mesmo espaço da nova, um rascunho ao lado da versão aprovada, o e-mail que "substituiu" um processo sem substituir o arquivo original. A IA não sabe qual delas é a vigente — porque, na origem, ninguém decidiu isso por ela.
Um exemplo comum: a área comercial atualiza a tabela de preços em uma planilha nova, mas a antiga continua salva na mesma pasta, só que com nome parecido. Um cliente pergunta o valor de um plano e a IA — sem forma de saber qual arquivo vale — pode responder com o número errado. Ninguém programou a IA para mentir; ela só recebeu duas respostas possíveis, no mesmo lugar, sem sinal de qual delas é a certa.
Dar tudo para a IA não é dar o certo
A saída mais comum, quando alguém percebe que a IA está errando, é entregar ainda mais material — "põe tudo lá, deixa ela procurar". É intuitivo, e é o oposto do que ajuda. A Anthropic, fabricante do modelo Claude, chama esse efeito de desgaste de contexto: conforme o volume de texto entregue de uma vez cresce, a precisão da IA para localizar e usar a informação certa cai — não porque o material desaparece, mas porque cada trecho recebe menos atenção proporcional dentro de um conjunto maior.
Em outras palavras: mais material não é mais precisão. É mais chance de a resposta certa cair justo na zona do meio que "Lost in the Middle" mostrou ser a mais fraca.
A própria documentação da Anthropic para quem constrói sobre um modelo de IA recomenda o caminho oposto ao "põe tudo": tratar o material entregue como um recurso limitado, com retorno decrescente, e passar o conjunto mínimo de informação que resolve a tarefa — não o máximo disponível. Isso vale tanto para uma pergunta pontual quanto para um agente que trabalha em etapas ao longo do dia.
O que precisa existir na prática
Resolver isso não é ensinar a pessoa a perguntar melhor — é organizar o material antes de qualquer pergunta chegar.
Documento com dono. Cada política, manual ou processo tem uma pessoa ou área responsável por mantê-lo atualizado. Sem dono, ninguém percebe quando um documento envelhece.
Versão vigente separada da histórica. A versão antiga pode continuar existindo — para auditoria, para histórico — mas marcada como não vigente, fora do que a IA usa para responder por padrão. O instituto de pesquisa em dados IDC descreve o problema oposto como decadência de dados: conteúdo que segue existindo, mas fica desatualizado, inconsistente e cada vez menos confiável, misturado ao que ainda vale.
Escopo por área. O manual do financeiro não precisa entrar na mesma busca de uma pergunta do comercial. Limitar o escopo por área reduz o volume de material concorrendo pela atenção da IA na hora de responder — menos material no meio, o mesmo problema que "Lost in the Middle" descreveu, só que resolvido pela organização do conhecimento, não pelo tamanho do texto.
Resposta que cita a fonte usada. Quando a resposta pode apontar de qual documento veio, quem recebe a resposta consegue conferir — e quem mantém o conhecimento descobre rápido quando um documento está sendo mal interpretado ou está desatualizado.
Ciclo de revisão com validade. Um documento sem data de revisão tende a ficar esquecido até alguém perceber, tarde demais, que ele está errado. Definir de quanto em quanto tempo cada categoria de documento precisa ser revisada evita esse acúmulo silencioso.
É assim que a Skyller foi desenhada: conhecimento da empresa com dono, versão vigente e escopo por área, para que a resposta beba da fonte certa — não de uma pilha de documentos concorrendo entre si.
O ganho de organizar antes de perguntar
O primeiro ganho é óbvio: menos resposta errada. Mas o efeito mais duradouro aparece em outro lugar — na confiança de quem usa. Uma pessoa que recebeu duas respostas contraditórias da mesma IA em duas semanas diferentes aprende a desconfiar de todas as respostas seguintes, mesmo as certas. Reconquistar essa confiança custa muito mais do que organizar o material desde o início.
Organizar o conhecimento antes também acelera quem é novo na empresa. Uma pessoa recém-chegada não sabe qual das cinco versões de um processo é a vigente — mas, se a IA já sabe, ela chega à resposta certa no primeiro dia, sem precisar aprender sozinha o histórico da empresa antes.
Há ainda um ganho de manutenção: quando o conhecimento tem dono e versão vigente, atualizar um processo passa a ser um evento único — trocar o documento — em vez de uma caçada por todo canto onde uma cópia antiga pode ter ficado esquecida.
E há um ganho entre áreas que costuma passar despercebido. Quando o comercial, o suporte e o financeiro consultam a mesma base de conhecimento, com a mesma versão vigente, os três param de dar respostas diferentes para a mesma pergunta de um cliente. Isso evita o tipo de inconsistência que corrói confiança rápido: o cliente que ouve uma coisa do suporte e outra do financeiro aprende a desconfiar da empresa inteira, não só de uma área.
Três perguntas para levar à próxima reunião
Antes de culpar o modelo de IA pela próxima resposta errada, vale levar estas três perguntas para quem cuida do conhecimento da empresa:
- Quantas versões do mesmo documento estão hoje no mesmo lugar? Se a resposta for "mais de uma" e nada distingue qual é a vigente, o problema é de organização, não de IA.
- Existe alguém responsável por cada categoria de documento? Sem dono, a desatualização vira normal — e ninguém percebe até uma resposta errada chegar longe.
- A resposta da IA consegue apontar de onde veio a informação? Se não consegue, ninguém tem como confirmar rápido se aquela resposta ainda está certa.
