Saber e não dizer: o gap que expõe limites do monitoramento de LLMs

O que aconteceu

O artigo "The Knowing-Saying Gap: When Probes See Errors that Confidence Misses" (arXiv:2608.07528), submetido em 21 de julho de 2026 na área de Inteligência Artificial do arXiv, documenta uma dissociação no funcionamento interno de grandes modelos de linguagem. Sondas lineares — classificadores que leem representações internas do modelo — detectam contexto corrompido com precisão "quase perfeita", segundo o resumo. Essa capacidade, porém, não se converte em previsão confiável de erro: em cadeias aritméticas multi-hop, as sondas que apontam corrupção não são informativas sobre a correção da resposta final.

O estudo também refuta a hipótese pré-registrada "persistence beats peak": a persistência do sinal da sonda entre etapas não separa resultados corretos de incorretos. Em outro experimento, modelos forçados a formatos estruturados de confiança colapsaram para dois valores, com taxas de erro indistinguíveis entre eles.

Contexto

Modelos de linguagem costumam comunicar incerteza por meio de confiança verbalizada — o modelo afirma estar mais ou menos seguro da resposta. O estudo indica um descompasso entre o que as representações internas "sabem" e o que o modelo "diz" sobre o próprio erro. Esse padrão, chamado de knowing-saying gap, se repete em diferentes famílias de modelos, incluindo modelos de raciocínio, o que sugere que não é um artefato de uma arquitetura específica.

Por que importa

Para times que operam LLMs em produção — atendimento automatizado, análise de documentos, geração de código —, o resultado tem consequência prática: monitorar apenas a confiança verbalizada pode deixar passar erros que as representações internas já sinalizam. Para empresas brasileiras que rodam chatbots e automações com LLMs, a distância entre detectar corrupção interna e prever uma resposta errada pode significar uma falha silenciosa em vez de uma correção. Ao mesmo tempo, intervir com base nas sondas não é inofensivo: em Llama-3.1-8B, a estratégia branch-and-pick resgatou 4 respostas erradas e não quebrou nenhuma correta — o único caso não destrutivo entre as intervenções testadas —, enquanto reprompt e replace-prior quebraram trilhas corretas na mesma proporção em que resgataram as erradas.

Impacto

Nenhuma intervenção única dominou os testes. O monitoramento baseado em sondas aparece como complemento necessário à confiança verbalizada, mas a escolha da intervenção depende do modelo e do tipo de erro — os autores descrevem a saída como roteamento ciente do modelo (model-aware) e do tipo de erro (error-type-aware). No curto prazo, quem define políticas de segurança em sistemas com LLM deve tratar sonda e confiança como sinais distintos, em vez de substitutos.

O que muda

A principal mudança é conceitual: detectar corrupção interna não é o mesmo que prever resposta errada. Sistemas de monitoramento precisam combinar sinais internos (sondas) e externos (confiança verbalizada), e a intervenção de recuperação passa a ser uma decisão de roteamento, condicionada ao modelo em uso e ao tipo de erro observado.

O que vem agora

O artigo está disponível em acesso aberto no arXiv (arXiv:2608.07528). O material não detalha os próximos passos da pesquisa; o caminho esperado inclui revisão por pares, reprodução dos experimentos em mais famílias de modelos e tarefas e testes das intervenções em cenários reais de produção.

Fontes

• arXiv cs.AI — "The Knowing-Saying Gap: When Probes See Errors that Confidence Misses" (arXiv:2608.07528) — https://arxiv.org/abs/2608.07528