MAGE: agente de IA usa manuais para operar softwares novos

O que aconteceu

O artigo "Adaptation of Computer Use Agents to New Software with User Manuals" foi submetido ao arXiv em 16 de outubro de 2026 e publicado sob o identificador arXiv:2610.23012v1, na categoria Computer Science > Artificial Intelligence. O texto apresenta o MAGE, sigla de Manual-augmented computer use AGent Execution and learning, um framework que trata manuais de usuário como fonte escalável de conhecimento procedural.

O MAGE foi desenhado para atacar dois gargalos dos chamados computer use agents (CUAs), modelos multimodais que operam software por meio de interfaces gráficas a partir de observações visuais e instruções em linguagem natural. O primeiro gargalo é manter desempenho em aplicações desconhecidas, já que tarefas práticas exigem conhecimento procedural de longo prazo e padrões de operação específicos de cada programa. O segundo é o custo de construir tarefas executáveis e coletar trajetórias de treinamento, atividade que ainda depende fortemente de anotação humana.

O framework opera em duas frentes. Na execução, o MAGE recupera trechos do manual relevantes para a tarefa e aciona um planejador que gera orientação procedural explícita para o agente. No treinamento, o sistema converte manuais em pares de tarefa e plano executáveis e usa esses planos para conduzir as rollouts no ambiente em direção a estados pertinentes à tarefa. As trajetórias resultantes otimizam a política do agente sem demonstrações escritas por pessoas.

Os autores relatam ganhos de taxa de sucesso em tarefas nas seis aplicações avaliadas, comparados a baselines fortes. O código e os scripts de reprodução estão disponíveis em github.com/ku-autoai/MAGE.

Contexto

Agentes que operam software por conta própria viraram uma das linhas mais disputadas da pesquisa em IA multimodal. O avanço dos modelos de fundação multimodais ampliou a capacidade de clicar, digitar e navegar em telas a partir de capturas visuais e comandos em texto. O problema aparece quando o agente sai do conjunto de aplicações vistas no treino.

A solução usual tem sido ampliar o volume de trajetórias gravadas por humanos, o que encarece o processo e não escala na velocidade das atualizações de software. O MAGE propõe um atalho: a documentação que já existe, escrita para pessoas, vira insumo de planejamento e de treino.

O artigo também reconhece uma dificuldade prática que qualquer usuário conhece. Manuais e ambiente real divergem. Versões diferentes, menus reorganizados e configurações pessoais fazem o texto da documentação não corresponder exatamente ao que aparece na tela. Para lidar com isso, o MAGE ajusta a política do agente por meio de interação com o ambiente, corrigindo o plano conforme o que a interface mostra de fato.

Por que importa

A dependência de dados anotados é o principal fator de custo no desenvolvimento de agentes de computador. Se manuais resolvem parte do problema, o caminho para colocar um agente em um software novo deixa de passar por semanas de gravação de demonstrações e passa a depender de documentação disponível.

Para fornecedores de software corporativo, isso muda a conta de adoção. Sistemas com manuais extensos e bem mantidos, como ERPs e ferramentas de produtividade, ganham vantagem como alvo de automação. Aplicações com documentação pobre ou desatualizada continuam exigindo o trabalho humano que o MAGE tenta evitar.

A escolha de liberar código e scripts de reprodução no GitHub indica que os autores querem que outros grupos testem o método em aplicações além das seis avaliadas.

Impacto

O efeito imediato é metodológico. O MAGE unifica planejamento na inferência e geração de dados no treino a partir da mesma fonte, o manual, e demonstra que essa fonte única serve aos dois lados do ciclo de aprendizado.

Em médio prazo, a abordagem aponta para agentes que se adaptam a um software recém-instalado consultando a documentação, do mesmo modo que um funcionário novo consulta o guia do sistema antes de executar um procedimento. O artigo não detalha os percentuais de ganho nem nomeia quais seis aplicações foram usadas, informação que deve aparecer na versão completa em PDF.

O que muda

A mudança central está em quem escreve o material de treinamento. Em vez de demonstrar cada passo de uma tarefa para o modelo, o processo passa a aproveitar texto técnico já produzido por equipes de documentação. O MAGE transforma esse texto em planos executáveis e os usa para guiar a exploração do ambiente, gerando trajetórias que alimentam a otimização da política.

O ajuste por interação resolve a objeção mais óbvia ao uso de manuais, a defasagem entre papel e tela. O agente não segue o manual às cegas. Ele corrige o curso conforme o ambiente responde.

O que vem agora

O próximo passo divulgado é a reprodução por terceiros. Os scripts publicados no repositório ku-autoai/MAGE permitem replicar os experimentos nas seis aplicações. A generalização para softwares com documentação ruim, interfaces que mudam com frequência ou fluxos que exigem conhecimento tácito não foi medida no estudo e segue em aberto.

A data de submissão, 16 de outubro de 2026, coloca o trabalho na safra mais recente de pesquisa sobre agentes de computador, área em que a competição por desempenho em ambientes não vistos virou o principal teste de maturidade.

Fontes

• arXiv cs.AI: "Adaptation of Computer Use Agents to New Software with User Manuals" (arXiv:2610.23012v1) — https://arxiv.org/abs/2610.23012
• Repositório de código e scripts de reprodução: https://github.com/ku-autoai/MAGE