Poder expressivo dos transformers é mapeado com complexidade de circuitos

Pesquisadores submeteram ao arXiv o artigo "On the Expressive Power of Transformers" (Identificador: 2608.12671), disponibilizado em 13 de agosto de 2026. O trabalho apresenta uma visão geral de resultados que mapeiam os limites formais dos transformers, arquitetura que compõe praticamente todos os grandes modelos de linguagem (LLMs) em uso hoje. A análise usa a complexidade de circuitos como ferramenta principal, um ramo da ciência da computação teórica que estuda modelos de computação simplificados compostos por portas lógicas.

O que aconteceu

O estudo, classificado na área de Inteligência Artificial (cs.AI) do arXiv, propõe que a complexidade de circuitos é o método mais adequado para comparar transformers com modelos computacionais clássicos. A justificativa central é que, ao parametrizar a arquitetura por recursos como atenção e precisão numérica, é possível realizar comparações diretas com classes de circuitos definidas por tipo de portas, tamanho e profundidade. O artigo não apresenta um novo modelo ou arquitetura, mas sim uma síntese de resultados que delimitam o que esses sistemas conseguem — ou não conseguem — reconhecer como linguagem.

Contexto

Desde a popularização dos LLMs, cresce o esforço da comunidade acadêmica para entender os limites teóricos dos transformers. Esses modelos são avaliados como reconhecedores de linguagem, ou seja, sistemas que classificam sequências de entrada como válidas ou inválidas. A complexidade de circuitos emergiu como o ramo dominante dessa análise, pois permite uma calibração precisa entre os recursos práticos dos transformers (como atenção e precisão) e modelos matemáticos já estudados há décadas. O paper surge nesse contexto, organizando descobertas que estavam dispersas na literatura.

Por que importa

Para pesquisadores da área, o trabalho fornece uma base formal para prever quando um transformer pode falhar em tarefas que exigem raciocínio lógico longo ou generalização. Essas limitações explicam, no plano teórico, por que LLMs atuais cometem erros em tarefas de aritmética ou lógica simbólica, mesmo com escalas massivas de parâmetros. Para empresas que desenvolvem aplicações críticas com IA generativa, entender esses limites ajuda a definir expectativas realistas sobre os produtos e a planejar investimentos em abordagens complementares, como ferramentas externas (tool use) ou arquiteturas híbridas.

Impacto

No curto prazo, o artigo reforça a relevância da pesquisa teórica em complexidade computacional como guia para o desenvolvimento prático de modelos. No médio prazo, a cartografia do poder expressivo dos transformers pode orientar a criação de novas arquiteturas que superem as limitações identificadas. Para o ecossistema de startups brasileiras e globais que dependem de LLMs para automação e análise, o estudo sinaliza que a corrida por eficiência não pode ignorar as restrições formais da arquitetura.

O que vem agora

O próximo passo natural é a expansão dos resultados para transformers com mecanismos de atenção adicionais ou treinados com estratégias de inferência em cadeia (chain-of-thought). A comunidade científica também deve avançar na comparação dos transformers com classes de circuitos mais complexas, como aqueles com profundidade logarítmica, o que pode refinar ainda mais a fronteira do que é computável por esses modelos. O artigo permanece disponível para consulta na plataforma arXiv.