IA ainda reprova em ciência real: melhor modelo acerta só 48,7%

O que aconteceu

Um grupo de pesquisadores submeteu ao arXiv, em 7 de agosto de 2026, o artigo "Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery" (arXiv:2608.06931). O trabalho introduz o SEE, um benchmark multimodal com questões selecionadas por especialistas, baseadas em literatura revisada por pares e na prática experimental de química, biologia e ciência de materiais.

A avaliação de 19 modelos multimodais de linguagem (MLLMs) mostrou que o melhor desempenho alcançou apenas 48,7% de acurácia. Modelos de propósito geral superaram, em média, os modelos especializados em ciência. Na avaliação com agentes visuais, o uso de ferramentas elevou a melhor acurácia para 52,7% (arXiv).

Contexto

Modelos de linguagem de grande porte (LLMs) vêm sendo cada vez mais usados em tarefas de descoberta científica, como geração de hipóteses e análise de literatura. No entanto, a maioria dos benchmarks existentes foca em explicar conceitos já estabelecidos, não em raciocinar a partir de dados experimentais brutos. O SEE foi desenhado para preencher essa lacuna, testando a capacidade dos modelos de fazer inferências justificadas e limitadas pelas evidências originais.

Por que importa

O resultado indica que, apesar do avanço dos MLLMs, eles ainda não são confiáveis para apoiar ciência laboratorial complexa. A diferença entre 48,7% e 52,7% com ferramentas mostra que mais informação não se traduz necessariamente em raciocínio científico confiável. Para empresas e laboratórios que consideram adotar IA em pesquisa, o estudo serve de alerta: a tecnologia atual pode auxiliar, mas não substituir o julgamento humano na interpretação de experimentos.

No Brasil, onde há investimento crescente em IA aplicada à saúde e agronegócio, o achado reforça a necessidade de avaliação criteriosa antes de implantar sistemas automatizados em fluxos de pesquisa.

Impacto

No curto prazo, o SEE pode se tornar referência para avaliar MLLMs em contextos científicos, pressionando desenvolvedores a melhorar o raciocínio baseado em evidências. No médio prazo, a distinção entre modelos de propósito geral e especializados pode mudar estratégias de treinamento: em vez de apenas incorporar mais dados científicos, será preciso desenvolver mecanismos que limitem inferências ao escopo das evidências.

O estudo também expõe um risco prático: ferramentas que expandem o acesso a informação podem induzir modelos a conclusões fora dos limites do experimento original, um problema crítico em áreas como descoberta de fármacos e novos materiais.

O que muda

A principal mudança é de expectativa. O mercado de IA científica precisará abandonar a premissa de que mais dados e mais ferramentas equivalem a melhor raciocínio. A avaliação de modelos deve passar a incluir testes como o SEE, que medem a capacidade de inferência evidencial, não apenas a memorização de conceitos.

O que vem agora

Os pesquisadores sugerem que o próximo passo é desenvolver MLLMs capazes de transitar de explicar conceitos científicos estabelecidos para derivar insights novos e baseados em evidências a partir de dados experimentais. Isso provavelmente exigirá novas arquiteturas e métodos de treinamento, além de benchmarks mais abrangentes. A comunidade científica deve acompanhar se o SEE será adotado como padrão de avaliação em futuras pesquisas.

Fontes

• arXiv: Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery — https://arxiv.org/abs/2608.06931