DSAgentBench avalia IA em ciência de dados real

O que aconteceu

Um artigo submetido ao arXiv em 11 de agosto de 2026 apresenta o DSAgentBench, definido pelos autores como o primeiro benchmark a testar se agentes de IA conseguem automatizar fluxos completos de ciência de dados em ambientes de computador reais. A avaliação reúne 275 tarefas que cobrem todo o ciclo de vida da ciência de dados, incluindo limpeza de dados, exploração, modelagem, visualização e validação. Cada tarefa exige que o agente decida com base em resultados intermediários e coordene ferramentas como notebooks, IDEs, terminais, navegadores e bancos de dados. A verificação é feita por um avaliador determinístico, que confere correção analítica, resultados visuais e desempenho dos modelos — não apenas se o código executa.

Nos experimentos com 15 modelos de código fechado e aberto, o melhor agente, Claude-4.6-Sonnet, alcançou 56,70% de sucesso nas tarefas. Todos os agentes de código aberto ficaram abaixo de 1% de acerto, com falhas recorrentes em orquestração de ferramentas, entendimento do sistema operacional e raciocínio em múltiplas etapas. O código-fonte do benchmark foi publicado no GitHub (https://github.com/vis-nlp/DSAgentBench).

Contexto

A ciência de dados na prática não se resume a escrever código. Envolve fluxos longos, com várias etapas e uso coordenado de notebooks, IDEs, terminais, navegadores e bancos de dados dentro de sistemas operacionais reais. Os benchmarks existentes, segundo os autores, não avaliam interação com um computador real e não verificam se um agente consegue executar um fluxo completo de ponta a ponta em um ambiente realista. Isso deixava de fora justamente a natureza multiestágio e multiferramenta do trabalho de dados.

Por que importa

O resultado expõe uma distância relevante entre o que os sistemas agentivos atuais conseguem fazer em tarefas isoladas e o que seria necessário para automatizar rotinas inteiras de análise de dados. Para empresas que exploram agentes de IA em operações com dados, o benchmark oferece uma medida mais próxima da realidade: saber que um modelo líder acerta pouco mais da metade das tarefas ajuda a calibrar expectativas. No Brasil, onde equipes de dados frequentemente dependem de ferramentas heterogêneas e integrações artesanais, a automatização total desses fluxos ainda parece distante — e a necessidade de supervisão humana continua evidente.

Impacto

No curto prazo, o DSAgentBench deve servir como referência para comparar modelos e estimular avanços em áreas específicas: orquestração de ferramentas, compreensão do sistema operacional e raciocínio multietapas. No médio prazo, a exigência de avaliadores determinísticos que verificam saídas analíticas e visuais tende a elevar o padrão de avaliação de agentes de dados, indo além de testes que apenas checam se o código termina sem erro.

O que muda

A principal mudança é metodológica: a avaliação de agentes de ciência de dados passa a considerar o ambiente real de execução e o resultado final do trabalho, não apenas trechos de código. Isso cria uma base mais sólida para comparar modelos e pressiona fabricantes a melhorarem a coordenação de ferramentas — um dos pontos mais fracos observados nos testes.

O que vem agora

Com o benchmark disponível publicamente, a expectativa é que outros grupos testem modelos novos e desenvolvam agentes mais robustos. O artigo posiciona o DSAgentBench como uma fundação para agentes de ciência de dados autônomos, verificáveis e aterrados em ambientes reais. Os autores não indicam, no material, uma data para novas versões ou ampliação das tarefas.

Fontes

• arXiv, DSAgentBench: Can Agents Automate End-to-End Data-Science Workflows in Real Computer Environments? — https://arxiv.org/abs/2608.10366