Workbook time machine: benchmark automático testa LLMs em planilhas

O que aconteceu

Em 8 de agosto de 2026, foi submetido ao arXiv o paper "Back to the Future: A workbook time machine for spread sheet creation benchmarks" (arXiv:2608.07873v1), na área de Inteligência Artificial. O trabalho introduz um pipeline chamado workbook time machine, que cria benchmarks para medir a capacidade de modelos de linguagem (LLMs) de produzir objetos derivados em planilhas: fórmulas, gráficos, tabelas dinâmicas (pivot tables) e formatação condicional (arXiv).

Aplicado a conjuntos públicos de planilhas, o pipeline gera o wtmcorpus, uma coleção de triplas compostas por planilha de entrada, planilha de saída e uma consulta (query). Desse corpus foi extraído o wtmbench, um benchmark com 150 tarefas e consultas em três níveis de especificidade (arXiv). Os autores avaliaram agentes de manipulação de planilhas existentes e baselines nesse conjunto de testes.

Contexto

O estudo parte de um problema prático: criar benchmarks para planilhas exige montar conjuntos de arquivos e consultas, um processo difícil de automatizar. A proposta do workbook time machine é automatizar a geração desses testes a partir de arquivos já disponíveis publicamente, em vez de depender de conjuntos montados manualmente. A avaliação foi conduzida considerando três dimensões: tipo de artefato gerado, complexidade dos passos e granularidade da instrução.

Por que importa

Planilhas seguem como uma das principais ferramentas de trabalho em finanças, operações e gestão, e o Excel é o ambiente mais comum para essas tarefas. No Brasil, o uso de planilhas é generalizado como suporte a decisão e reporte, então a capacidade de um LLM executar essas ações tem impacto prático direto. Os resultados mostram que três fatores pesam no desempenho: o nível de detalhe da consulta, a orquestração do agente e a API usada para controlar a planilha. Ou seja, o mesmo modelo pode ir bem ou mal dependendo de como a tarefa é formulada e de qual interface é utilizada.

Impacto

No curto prazo, o wtmbench oferece uma base para comparar sistemas que executam tarefas em planilhas, área em que a medição ainda é incipiente. No médio prazo, o pipeline pode ser aplicado a outros corpora de arquivos públicos e gerar novos conjuntos de teste continuamente, reduzindo o custo de avaliação para quem desenvolve agentes de planilha. A ênfase do estudo em APIs e orquestração indica que o desempenho não depende apenas do modelo, mas do desenho do agente como um todo.

O que muda

A criação de benchmarks deixa de ser um processo essencialmente manual e passa a poder ser automatizada em escala. Para equipes que desenvolvem ferramentas baseadas em LLMs para planilhas, o estudo aponta que a escolha da API de controle e a forma como os agentes são orquestrados devem receber tanta atenção quanto o modelo de linguagem em si.

O que vem agora

O trabalho está disponível como preprint na página do arXiv e, por ser uma versão inicial, pode passar por revisões. O material publicado não detalha próximos passos, como liberação de código, dados ou uma versão estendida do benchmark. Na ausência dessas informações, o wtmbench fica disponível para a comunidade acadêmica reproduzir e aprofundar os resultados.

Fontes

• arXiv cs.AI — "Back to the Future: A workbook time machine for spread sheet creation benchmarks" (https://arxiv.org/abs/2608.07873)