TeXFix-Bench: benchmark avalia reparo de documentos por LLMs

O que aconteceu

Em 7 de agosto de 2026, pesquisadores submeteram ao arXiv o TeXFix-Bench, um benchmark multi-formato que avalia LLMs no reparo de fontes de documentos em LaTeX, Typst e Markdown (arXiv:2608.07617). O trabalho parte de 168 falhas verificadas de compilação, coletadas no TeX Stack Exchange, em commits do GitHub e na documentação de pacotes, para construir uma taxonomia de 18 categorias de erro. Sobre ela, a equipe criou o DocMut, um conjunto de 48 operadores de mutação que respeitam a árvore sintática (AST) dos três formatos.

Com 10.437 instâncias geradas a partir de 743 documentos com licença aberta, o estudo avaliou sete LLMs em protocolo zero-shot fixo, com roteamento de provedor também fixo. Ao todo, foram 48.651 tentativas de reparo, a um custo de inferência de cerca de USD 200 (arXiv:2608.07617). Uma matriz balanceada de 6.613 instâncias por 7 modelos confirmou todos os rankings.

Contexto

Pipelines de escrita científica dependem de fontes que precisam compilar: LaTeX, Typst e Markdown quebram diante de delimitadores ausentes, ambientes incompatíveis, imports corrompidos ou conflitos de pacotes. Avaliações anteriores de reparo de documentos injetavam falhas com edições ad-hoc, sem um modelo empírico do tipo de erro que ocorre na prática. O TeXFix-Bench responde a isso ao derivar a taxonomia de falhas reais de comunidades como o TeX Stack Exchange.

A construção do benchmark usou codificação dupla com concordância moderada entre avaliadores (κ = 0,34), o que indica a dificuldade de classificar erros reais de forma consistente.

Por que importa

O resultado central questiona uma métrica comum: o sucesso de compilação sozinho superestima a qualidade do reparo. Ao examinar 28.129 reparos que compilam, os autores encontraram que 13,6% a 18,5% deles alteram materialmente o texto do documento (arXiv:2608.07617). Ou seja, um modelo pode “consertar” o código e, no processo, mudar o conteúdo que o autor escreveu.

O estudo também mostra que falhas criadas pelo DocMut são 5,6 a 9,2 pontos percentuais mais difíceis de reparar do que mutações baseadas em padrões. Um estudo de caso com 88 erros reais de humanos registrou 67,0% de sucesso de reparo, o que indica que os conjuntos sintéticos ficam abaixo do nível de dificuldade dos erros reais (arXiv:2608.07617).

Impacto

A diferença entre modelos é expressiva: o spread de compilação intention-to-treat foi de 27,5 pontos percentuais, com taxas entre 56,7% e 84,2%. Typst aparece como formato marcadamente mais difícil de reparar do que LaTeX e Markdown (arXiv:2608.07617). Para quem desenvolve ferramentas de escrita científica, o benchmark oferece uma base para comparar LLMs em condições mais próximas do uso real.

Os autores liberaram a taxonomia, o DocMut e todos os artefatos da campanha, o que permite reproduzir e estender o experimento em outros grupos.

O que muda

A principal mudança é metodológica: benchmarks de reparo de documentos deixam de depender apenas de mutações sintéticas e passam a incluir falhas fundamentadas em dados empíricos. A avaliação também deixa de ser centrada apenas na compilação e passa a considerar a restauração do conteúdo. O dado mais contra-intuitivo é que o modelo com menor taxa de compilação foi o que melhor restaurou o conteúdo entre os reparos que conseguiu compilar — compilação e restauração medem coisas diferentes (arXiv:2608.07617).

O que vem agora

Com os artefatos públicos, é esperado que grupos de pesquisa usem o TeXFix-Bench para avaliar novos modelos e que o DocMut seja adaptado a outros formatos de markup. A divergência entre compilação e restauração deve levar a novas métricas e a métodos de reparo que preservem o conteúdo original.

Fontes

• arXiv (cs.AI): TeXFix-Bench: An Empirically Grounded Multi-Format Benchmark for LLM-Based Document Source Repair — https://arxiv.org/abs/2608.07617