SciΠvot: benchmark mede julgamento científico de agentes de IA

O que aconteceu

O arXiv publicou em 15 de outubro de 2026 o paper arXiv:2610.21082v1, que apresenta o SciΠvot. O benchmark reúne 248 casos de julgamento científico construídos a partir de correções feitas por pesquisadores humanos. A base vem de seis meses de trabalho em que cientistas seniores conduziram agentes de LLM em 26 projetos distribuídos por seis campos científicos e intervieram repetidamente para corrigir as decisões dos modelos.

Cada caso do SciΠvot coloca o agente diante de duas opções: o plano original proposto pela IA ou a alternativa corrigida pelo pesquisador. O contexto permitido é apenas o registro do projeto anterior à correção, o que mede se o modelo reconhece, olhando para trás, qual das duas rotas era melhor.

Os números centrais do estudo: com esforço de raciocínio médio e acesso ao registro do projeto, os modelos preferiram de forma sistemática o plano original da IA à correção humana. Quatro dos cinco modelos de fronteira avaliados ficaram abaixo do acaso. A acurácia mais alta na condição com registro, somando todos os modelos e níveis de esforço testados, foi de 63,5%. Pesquisadores recém-chegados, sem histórico do projeto, alcançaram 73,4%.

Contexto

Agentes de LLM já mantêm experimentos rodando por meses com supervisão humana mínima. O gargalo está em outra camada: o julgamento. Decisões de pesquisa são abertas e dependem do contexto acumulado de cada projeto, o que sempre dificultou a criação de métricas padronizadas para avaliá-las. A proposta do SciΠvot é usar o atrito entre máquina e cientista como unidade de medida.

Por que importa

O dado mais incômodo é o efeito do contexto. No nível médio de esforço, todos os modelos testados tiveram acurácia menor quando receberam o registro do projeto do que quando operaram sem ele. A leitura provável é que o histórico reforça o caminho que a própria IA já havia escolhido, empurrando o modelo de volta ao plano original mesmo depois de ele ter sido corrigido por um humano. A reconsideração, terceira variável analisada, também não elevou a acurácia de forma consistente.

Para laboratórios que apostam em autonomia, o recado é direto: manter um experimento vivo por meses é uma coisa, decidir o próximo passo é outra. Um agente que fica abaixo do acaso em pontos de virada do projeto não pode ser deixado sozinho nesses momentos.

Impacto

O SciΠvot entrega algo que faltava: uma forma sistemática de medir julgamento científico em agentes de LLM. Isso abre caminho para comparar modelos nessa dimensão específica, separada de benchmarks que avaliam execução de tarefas, geração de código ou recuperação de informação. A distância entre 63,5% dos modelos e 73,4% dos pesquisadores recém-chegados indica que a diferença não é apenas de volume de dados. Os humanos sem histórico do projeto julgaram melhor do que as máquinas que tinham o histórico completo em mãos.

O que muda

Times que hoje deixam agentes rodando por meses precisam decidir onde colocar o humano no processo. O benchmark sugere que os pontos de virada, quando o plano original da IA e a correção humana divergem, são exatamente onde o modelo tem mais dificuldade. Também muda a forma de avaliar sistemas de pesquisa autônoma: acurácia em julgamento passa a ser uma métrica separada de desempenho em tarefas, e o efeito negativo do contexto no nível médio de esforço contraria a suposição de que dar mais informação ao modelo sempre melhora a decisão.

O que vem agora

O SciΠvot fica disponível como ferramenta de avaliação sistemática do julgamento científico de agentes de LLM. O paper não detalha cronograma de atualizações do benchmark nem nomeia os modelos específicos testados, descritos apenas como cinco modelos de fronteira. Os resultados apontam uma agenda para os próximos experimentos: entender por que o registro do projeto reduz a acurácia e se níveis maiores de esforço de raciocínio mudam esse quadro.

Fontes

arXiv cs.AI. SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents. arXiv:2610.21082v1, 15 de outubro de 2026. https://arxiv.org/abs/2610.21082