Estudo testa LLMs em perguntas de pesquisa sobre supercondutividade

O que aconteceu

Pesquisadores do Google Research, em colaboração com a Universidade Cornell, publicaram um estudo na Proceedings of the National Academy of Sciences (PNAS) que testou seis modelos de linguagem de grande escala (LLMs) em questões de pesquisa sobre supercondutividade de alta temperatura. O experimento pediu que os modelos respondessem a perguntas de nível especializado na área, e as respostas foram avaliadas por um painel de especialistas em múltiplos critérios (fonte: Google Research Blog, 16/03/2026).

Contexto

O estudo faz parte de uma linha de pesquisa do Google sobre o uso de IA na ciência. Em trabalhos anteriores, os pesquisadores já haviam avaliado se LLMs conseguiam realizar tarefas analíticas básicas em diversas disciplinas científicas, um esforço que resultou no CURIE, um benchmark para áreas como biodiversidade, física da matéria condensada e sequenciamento de proteínas. O novo estudo avança ao testar os modelos em questões que exigem raciocínio técnico profundo, não apenas recuperação de fatos.

Neste trabalho, os LLMs foram confrontados com perguntas sobre supercondutores de alta temperatura, um campo da física que combina complexidade teórica com avanços empíricos recentes. A escolha da área não é casual: é um domínio onde a fronteira do conhecimento está em constante movimento, o que testa a capacidade dos modelos de lidar com informação atualizada e nuances científicas.

Por que importa

Os resultados indicam que os dois melhores desempenhos vieram de ferramentas que usam um ecossistema fechado de fontes certificadas e com controle de qualidade: o NotebookLM e um sistema customizado. Isso sugere que a confiabilidade científica de um LLM depende menos da capacidade bruta do modelo e mais do controle das fontes que ele consulta.

Para pesquisadores brasileiros, o estudo reforça um ponto prático: usar uma IA como ferramenta de pesquisa exige verificação criteriosa, especialmente em áreas especializadas. A promessa de acelerar a ciência existe, mas o estudo mostra que o estágio atual dos LLMs ainda exige supervisão humana qualificada para evitar respostas imprecisas ou incompletas.

Impacto

No curto prazo, o estudo deve influenciar a forma como laboratórios e instituições acadêmicas avaliam ferramentas de IA para pesquisa. A distinção entre modelos de acesso aberto e sistemas com fontes controladas tende a ganhar peso nas decisões de adoção.

No médio prazo, os resultados podem orientar o desenvolvimento de novas gerações de LLMs voltados à ciência, com arquiteturas que priorizem a curadoria de fontes e a verificação factual em domínios técnicos. Para o Google, o estudo também fortalece a posição do NotebookLM como ferramenta com potencial de uso científico, algo que pode ter impacto comercial e acadêmico.

O que muda

A pesquisa muda a narrativa de que LLMs genéricos podem atuar como parceiros científicos confiáveis sem adaptações. O estudo mostra que a qualidade das fontes é tão importante quanto a capacidade de raciocínio do modelo. Isso deve levar a uma demanda maior por sistemas que integrem bases de dados revisadas por pares e mecanismos de controle de qualidade.

O que vem agora

O próximo passo natural é expandir a metodologia para outras áreas da física e da biologia, além de refinar os sistemas customizados para reduzir as lacunas identificadas. O Google já explora, em outras frentes, o uso de IA para gerar hipóteses, escrever software científico e analisar dados de células individuais. Aplicações diretas no Brasil devem surgir conforme a comunidade científica local adote os benchmarks e critérios propostos no estudo.

Fontes

• Google Research Blog: [Testing LLMs on superconductivity research questions](https://research.google/blog/testing-llms-on-superconductivity-research-questions/)