PEARL: novo RL para agentes multi-turn supera ARPO

O que aconteceu

O PEARL foi publicado como preprint no arXiv em 10 de outubro de 2026, sob o identificador arXiv:2610.14636v1, na área de Inteligência Artificial (cs.AI). O ponto de partida é um problema conhecido de quem treina agentes que executam várias etapas: recompensas terminais tornam esses agentes treináveis sem anotações passo a passo, mas as vantagens relativas de grupo oferecem pouca orientação sobre quais decisões intermediárias precisam ser ajustadas.

A resposta do PEARL está no mecanismo de atribuição de crédito. Dadas duas continuações da mesma história com desfechos diferentes, o método localiza a primeira divergência entre elas e constrói uma representação de features da decisão local de cada ramo. Em seguida, agrupa essas features em memórias recentes de falhas e de sucessos para identificar padrões locais que se repetem. Com essa memória de padrões, o PEARL reforça seletivamente as vantagens negativas em decisões de menor recompensa, sem mexer nas vantagens positivas nem no otimizador da política base.

Os resultados aparecem em duas frentes. No AppWorld, o PEARL supera o ARPO tanto em tarefas Normal quanto nas Challenge, nas escalas de 4B e 8B. No ALFWorld, o método alcança 97,9% de sucesso médio com modelo de 4B, 2,7 pontos acima do baseline mais forte, e se mantém competitivo na escala de 8B. Ablações sobre o local de shaping, a filtragem do banco de sucessos e a janela de memória sustentam o valor das atualizações seletivas baseadas em padrões recorrentes.

Contexto

O treino de agentes multi-turn costuma esbarrar em um dilema de granularidade. Anotar cada passo de uma trajetória com um sinal de recompensa é caro e difícil de escalar. Usar apenas a recompensa final resolve o custo da anotação, mas joga no mesmo balde decisões boas e ruins que apareceram no meio do caminho.

Métodos da família de vantagens relativas de grupo atacam esse problema comparando trajetórias entre si. O que o paper argumenta é que essa comparação informa pouco sobre onde exatamente intervir. Trajetórias que falharam também contêm ações razoáveis, e padrões de decisão desfavoráveis podem reaparecer conforme o treinamento avança. O PEARL é desenhado para atacar justamente esse ponto: em vez de penalizar a trajetória inteira, ele mira padrões locais que se repetem.

O resumo divulgado no arXiv não informa os nomes dos autores, a afiliação institucional nem se há código ou pesos disponibilizados.

Por que importa

Agentes que operam em várias etapas são a base de aplicações de software que executam tarefas por conta própria, de chamadas de API a navegação em ambientes textuais. Se o sinal de treino não distingue o passo que estragou o resultado, o modelo aprende devagar e com ruído.

A proposta do PEARL tem duas consequências práticas. A primeira é dispensar um critic adicional, componente que costuma encarecer e complicar o pipeline de treino. A segunda é que o método não altera as vantagens positivas nem o otimizador da política base, o que o torna compatível com otimizadores já usados em treino por reforço sem exigir reescrita da infraestrutura.

Impacto

O ganho de 2,7 pontos no ALFWorld aparece na escala de 4B, a mais barata de servir entre as duas testadas. Modelos menores com desempenho mais alto reduzem o custo por tarefa executada, o que interessa a quem precisa rodar agentes em volume. Na escala de 8B, o PEARL se mantém competitivo, sem indicar regressão conforme o modelo cresce.

No AppWorld, o avanço sobre o ARPO cobre as tarefas Normal e as Challenge, que são justamente as de maior dificuldade. O efeito medido nas duas escalas sugere que o ganho não depende de um tamanho específico de modelo.

O que muda

O desenho do PEARL desloca o foco do resultado final para o padrão de decisão. Ele constrói memórias de falhas e sucessos recentes, agrupa features de decisão e usa esses grupos para decidir onde reforçar a penalidade. A seleção é o ponto central: o método não distribui sinal por toda a trajetória nem trata todas as decisões de baixa recompensa da mesma forma.

As ablações descritas no paper testam três peças separadamente: onde o shaping é aplicado, como o banco de sucessos é filtrado e qual janela de memória é usada. As três sustentam a mesma conclusão, a de que a atualização seletiva baseada em padrões recorrentes é o que produz o ganho.

O que vem agora

O PEARL está disponível como preprint, sem indicação no material de que tenha passado por revisão por pares. O resumo também não menciona prazo para liberação de código, dados ou pesos treinados.

O caminho seguinte natural é a replicação independente dos números no AppWorld e no ALFWorld por outros grupos, além de testes em benchmarks de agente que não aparecem no trabalho. Até lá, os resultados reportados valem como medição dos próprios autores.

Fontes

• arXiv cs.AI: PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents (https://arxiv.org/abs/2610.14636)