EnterpriseRAG: benchmark mostra falha de LLMs em RAG empresarial

O que aconteceu

O paper EnterpriseRAG (arXiv:2608.11584) apresenta um benchmark de 983 amostras validadas por especialistas, distribuídas em seis domínios. Diferente de benchmarks anteriores, que assumem recuperação limpa e consultas simples, o EnterpriseRAG combina instruções complexas com três modos de falha comuns em ambientes corporativos: ruído na recuperação (retrieval noise), lacunas de conhecimento (knowledge gaps) e conflitos factuais (factual conflicts). Na avaliação de 13 LLMs de última geração, os modelos satisfizeram 80% das restrições individuais, mas apenas 26,8% das respostas atenderam a todos os requisitos simultaneamente — uma diferença que os autores descrevem como uma lacuna de orquestração de 57 pontos (fonte: arXiv).

Contexto

Sistemas RAG (Retrieval-Augmented Generation) conectam LLMs a bases de dados internas, permitindo que o modelo responda com base em documentos da própria empresa. Em produção, esses documentos são frequentemente ruidosos, incompletos ou contraditórios, e as solicitações dos usuários acumulam múltiplas exigências ao mesmo tempo. Os benchmarks tradicionais, porém, partem do pressuposto de recuperação limpa e consultas simples, o que não representa a operação real. O EnterpriseRAG foi criado para cobrir exatamente essa lacuna, simulando os três modos de falha citados e aplicando instruções multidimensionais.

Por que importa

Para empresas que já usam RAG em atendimento ao cliente, análise de documentos, jurídico, saúde e finanças, a diferença entre atender a uma exigência isolada e atender a todas simultaneamente define a confiabilidade do sistema. O estudo mostra que uma alta taxa de satisfação por restrição individual (80%) pode mascarar uma conformidade holística baixa (26,8%) — um fenômeno chamado de colapso de adesão a instruções (instruction adherence collapse). Na prática, um sistema pode parecer preciso em testes simples e falhar justamente nos cenários mais complexos do dia a dia corporativo.

Impacto

Os resultados indicam barreiras profundas em cenários com lacunas de conhecimento e conflitos factuais, mesmo quando os modelos usam inferência reforçada por raciocínio (reasoning-enhanced inference). Isso sugere que sistemas RAG em produção exigem protocolos explícitos sensíveis ao contexto e julgamento calibrado — melhorar apenas o modelo base não resolve o problema. No curto prazo, equipes que avaliam LLMs por métricas agregadas podem superestimar a prontidão de seus sistemas. No médio prazo, benchmarks como o EnterpriseRAG devem orientar decisões de implantação e a escolha de modelos em projetos corporativos.

O que muda

A publicação estabelece uma base reprodutível para medir e reduzir a distância entre desempenho em laboratório e em produção. Equipes de engenharia de ML ganham um padrão para testar adesão a instruções em condições não ideais, em vez de depender de métricas que ignoram ruído, lacunas e conflitos nos dados. O conceito de lacuna de orquestração também oferece um vocabulário comum para reportar riscos de RAG a áreas de negócio.

O que vem agora

Os autores afirmam que o benchmark e a estrutura de avaliação serão liberados após a publicação do artigo. Com os dados e o framework públicos, outras equipes poderão reproduzir os resultados, comparar modelos e aplicar os mesmos critérios em seus próprios cenários de implantação.

Fontes

• arXiv (cs.AI) — EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval (arXiv:2608.11584): https://arxiv.org/abs/2608.11584