Learning after Execution: IA aprende com a execução do próprio código

O que aconteceu

O paper Learning after Execution with Action-Specific Credit foi submetido ao arXiv em 10 de outubro de 2026 e recebeu o identificador arXiv:2610.14573v1, na área de Inteligência Artificial. A proposta central é simples de enunciar e difícil de implementar. Hoje, quando um modelo gera um programa, o resultado da execução serve apenas como recompensa terminal, uma nota que diz se o código funcionou ou não. O estado produzido por essa execução é descartado. O novo método usa esse estado como ponto de partida para uma interação adicional de aprendizado sobre a mesma política.

Isso cria um problema de atribuição de crédito. As duas ações, a geração inicial e a correção posterior, perseguem o mesmo objetivo final, mas ocupam papéis diferentes na trajetória. A solução proposta, chamada de crédito específico por ação, divide a conta. A ação inicial recebe crédito a partir do desfecho final da trajetória. A ação corretiva recebe crédito pelo ganho obtido em relação ao estado intermediário.

Para testar a ideia, os autores usaram Image-to-TikZ como ambiente executável, no qual o modelo converte imagens em código TikZ, linguagem usada para desenhar gráficos em LaTeX. O teste rodou em 945 exemplos mantidos fora do treino.

Contexto

O ponto de partida é o GRPO, sigla de Group Relative Policy Optimization, método que se consolidou no treinamento de modelos com recompensa verificável. Na comparação direta do paper, o método novo alcançou 92,70% de sucesso de renderização em chamada única, contra 88,25% do GRPO de estágio único continuado, ambos após o mesmo número de iterações adicionais de treinamento.

A diferença de 4,45 pontos percentuais não é o achado principal. O achado principal é que a abordagem desenvolve uma capacidade corretiva depois da execução que o treinamento de estágio único continuado não reproduz. Essa capacidade depende do estado intermediário. Sem ele, não aparece.

O paper também testou definições alternativas de crédito sobre as mesmas trajetórias. Cada definição induz preferências grupo-relativas diferentes, ou seja, a forma de dividir o crédito muda aquilo que o modelo passa a preferir.

Por que importa

Atribuição de crédito é um dos gargalos conhecidos de aprendizado por reforço aplicado a modelos de linguagem. Quando duas ações contribuem para o mesmo resultado, separar o que cada uma fez de certo é o que define se o treinamento converge para o comportamento desejado ou para um atalho. O paper argumenta que tarefas executáveis carregam estrutura de aprendizado útil além da recompensa terminal, e demonstra isso com números.

Para quem treina modelos que geram código, a implicação é direta. O sinal de aprendizado não termina no teste que passa ou falha. O estado deixado pelo programa em execução é informação aproveitável, e o experimento indica que essa informação sustenta uma segunda ação de melhoria.

Impacto

O resultado sugere que pipelines de treinamento podem extrair mais de cada rollout sem gerar trajetórias novas do zero, ao reaproveitar o estado pós-execução como etapa intermediária. A capacidade corretiva medida no Image-to-TikZ é justamente o tipo de comportamento que interessa em tarefas de renderização, conversão de formato e geração de código com verificação automática.

O paper não informa, no resumo, qual modelo base foi usado, o tamanho do modelo, o volume de computação gasto nem o tempo de treinamento. Também não detalha o desempenho em outros domínios além do Image-to-TikZ. Esses pontos ficam em aberto para quem quiser avaliar a reprodutibilidade do método em escala maior.

O que muda

A mudança prática está em como o crédito é distribuído dentro de uma mesma trajetória. O método Learning after Execution não trata a execução como linha de chegada. Trata como estado intermediário, e o crédito da ação inicial vem do desfecho final, enquanto o da ação corretiva vem da melhoria sobre esse estado.

Essa separação é o que diferencia o trabalho de abordagens que apenas continuam o treinamento de estágio único por mais iterações. Segundo o paper, o GRPO continuado não reproduz a capacidade corretiva, mesmo recebendo o mesmo número de passos adicionais de treinamento.

O que vem agora

Os autores liberaram o código em github.com/tianyufengcn/Learning-after-Execution, o que permite que outros grupos reproduzam os experimentos e testem a definição de crédito específico por ação em ambientes próprios. O resumo do paper se limita ao Image-to-TikZ e não especifica quais domínios executáveis viriam em seguida nem prazos para novas versões do trabalho.

Fontes

• arXiv cs.AI: Learning after Execution with Action-Specific Credit (arXiv:2610.14573v1), submetido em 10 de outubro de 2026. https://arxiv.org/abs/2610.14573
• Repositório de código no GitHub: https://github.com/tianyufengcn/Learning-after-Execution