IA esquece o que já sabe: recall é o gargalo da factualidade

O que aconteceu

Em 12 de agosto de 2026, os cientistas Nitay Calderon e Gal Yona, da Google Research, publicaram o estudo "Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality" (Google Research Blog). O artigo apresenta o knowledge profiling, um framework comportamental que mede separadamente codificação e recall de fatos em LLMs, e o aplica a modelos de fronteira como Gemini 3 e GPT-5.

A análise parte de três processos distintos: encoding é a representação paramétrica de um fato; recall é a recuperação desse fato sem pistas externas; recognition é identificar o fato correto entre alternativas. Para sustentar o framework, os autores criaram o WikiProfile, um benchmark com 2.150 fatos derivados da Wikipédia, cada um pareado com dez perguntas que testam os três processos.

Cada fato é classificado em um de cinco perfis: falha de codificação, falha de recall, recall direto, recall com raciocínio e inferência sem codificação. O resultado central: os modelos codificam quase todos os fatos, mas têm dificuldade para recuperar boa parte deles. São chaves perdidas, não prateleiras vazias.

Contexto

Métricas tradicionais de acurácia tratam da mesma forma um modelo que nunca aprendeu um fato e um modelo que aprendeu mas não consegue acessá-lo. Essa indistinção esconde limitações diferentes e, principalmente, intervenções diferentes. Se o problema é codificação, a resposta seria escalar o modelo ou ampliar a cobertura de dados. Se é recall, a resposta está em métodos de pós-treinamento e de inferência que ajudem o modelo a usar o que já codificou.

A analogia do título resume o argumento: prateleiras vazias (encoding failures) versus chaves perdidas (recall failures). O artigo sustenta que muitos erros factuais em LLMs são melhor compreendidos como perda de chaves.

Por que importa

A distinção muda a prioridade de quem desenvolve ou opera modelos. Se a maioria dos erros factuais vem de recall, treinar modelos cada vez maiores ou adicionar mais dados não é necessariamente o caminho mais eficiente. Técnicas de inferência que eliciam computações intermediárias antes da resposta final — como chain-of-thought — passam a ser parte central da solução.

Para empresas que usam APIs de LLMs, inclusive no Brasil, o estudo oferece um critério mais preciso para decidir entre trocar de modelo ou investir em camadas de pós-processamento e raciocínio.

Impacto

No curto prazo, o knowledge profiling dá a pesquisadores um diagnóstico mais informativo do que a acurácia por pergunta: muda a unidade de análise de questões individuais para o estado do fato. No médio prazo, o framework pode redirecionar investimentos em pesquisa — do scaling para o desenvolvimento de métodos que melhorem a acessibilidade do conhecimento já armazenado. O WikiProfile, com seus 2.150 fatos, oferece uma base mensurável para comparar modelos nessa dimensão.

O que muda

Em vez de perguntar se o modelo acertou uma questão específica, pergunta-se qual é o estado do fato: está codificado? É recuperável diretamente, apenas com raciocínio, ou não foi recuperado? Esse perfil por fato permite distinguir, por exemplo, um modelo que erra por falta de conhecimento de um que erra por falta de acesso ao que sabe.

O que vem agora

O post não detalha os próximos passos do framework nem prazos de disponibilização do WikiProfile. A direção implícita é aplicar o knowledge profiling a mais modelos e domínios, e desenvolver métodos de pós-treinamento e inferência que reduzam as falhas de recall — o gargalo que o estudo identifica como central para a factualidade paramétrica.