RiseHarness: framework evolui agentes de terminal sem retreinar modelo

O que aconteceu

O artigo "Harness Self-Evolution for Long-Horizon Terminal Agents" foi submetido ao arXiv em 20 de outubro de 2026 e descreve o RiseHarness, framework que melhora iterativamente o harness de agentes de terminal de horizonte longo com os pesos do modelo fixos. O problema central identificado pelos autores é a diferença entre capacidade e execução confiável: o agente pode concluir uma tarefa em uma rodada e falhar em rodadas repetidas sob a mesma configuração, porque erros estocásticos se propagam pelas ações e pelo contexto.

O RiseHarness concentra o trabalho nas tarefas que apresentam tanto execuções bem-sucedidas quanto falhas sob a mesma configuração. As execuções que deram certo servem de referência para a análise das que falharam. O framework combina as trajetórias do agente com traços internos do harness capturados por um monitor de runtime, examinando como as ações do modelo interagem com quatro frentes: execução de comandos, feedback, gestão de contexto e decisões de conclusão.

Um componente chamado Harness Handbook conecta essas evidências a comportamentos do harness e ao código-fonte, o que ajuda a identificar problemas recorrentes em mecanismos compartilhados entre tarefas. A partir daí, o RiseHarness busca implementações relevantes em outros frameworks de harness e as adapta como referências de design para o modelo e o protocolo de execução em uso. As mudanças candidatas passam por checagens de comportamento e avaliação repetida das tarefas. As versões com ganhos medidos alimentam a iteração seguinte.

Contexto

Agentes de terminal são sistemas que executam comandos em ambientes de linha de comando para cumprir tarefas de várias etapas. O harness é a camada de software que organiza esse loop: como o modelo recebe o resultado de um comando, como o contexto é gerenciado e quando o agente decide que a tarefa terminou. O artigo trata o modelo específico como unidade de adaptação do harness, estudando como mudanças em mecanismos de interação compartilhados podem tornar capacidades existentes mais confiáveis entre tarefas.

A escolha de manter os pesos congelados separa o RiseHarness de abordagens de fine-tuning. O ganho vem do encanamento ao redor do modelo, não de novo treinamento. O framework também recorre a outros harnesses como fonte de referências de design, o que significa que mecanismos já testados em frameworks distintos podem ser incorporados a um único harness, adaptados ao modelo e ao protocolo de execução correntes.

Por que importa

A confiabilidade é o gargalo prático de agentes que operam terminais. Um agente que acerta uma vez e falha na repetição não serve para fluxos automatizados de produção, nos quais a mesma tarefa precisa rodar de forma consistente. O RiseHarness ataca exatamente essa lacuna, e o faz sem exigir acesso a treinamento do modelo, o que reduz a barreira para equipes que usam modelos de terceiros via API.

O artigo relata que avalia o sucesso e a confiabilidade das tarefas em diferentes modelos, faz ablação das evidências de execução do harness e da pesquisa externa, e testa a transferência para benchmarks não vistos com o mesmo modelo. Ou seja, o framework foi desenhado para verificar se as melhorias no harness se sustentam em tarefas novas, e não apenas naquelas usadas durante a iteração.

Impacto

Para quem constrói agentes sobre modelos de terceiros, o RiseHarness sugere um caminho de engenharia: em vez de esperar um modelo mais forte, ajustar o harness com base em evidências de execução. O uso de execuções bem-sucedidas como referência para diagnosticar falhas é uma escolha metodológica que aproveita o que o próprio agente já demonstrou ser capaz de fazer sob a mesma configuração.

A integração de mecanismos de outros frameworks em um harness único também tem consequência prática. Times que hoje escolhem entre harnesses concorrentes podem, em tese, combinar o que funciona em cada um, desde que a adaptação respeite o modelo e o protocolo de execução. O artigo não divulga números de ganho de sucesso ou de confiabilidade no resumo disponível, e os resultados quantitativos não foram detalhados no material analisado.

O que muda

A contribuição conceitual do RiseHarness é tratar o harness como alvo de evolução contínua, guiada por evidências de runtime. O monitor de runtime fornece traços internos que, cruzados com as trajetórias do agente, mostram onde o mecanismo compartilhado falha de forma recorrente. O Harness Handbook funciona como elo entre essa evidência e o código, o que endereça um problema comum em depuração de agentes: saber que falhou sem saber qual parte do encanamento causou a falha.

O ciclo descrito no artigo é fechado: mudanças candidatas são checadas, avaliadas em repetição e, se medirem ganho, semeiam a próxima iteração. Esse desenho transforma a melhoria do harness em processo iterativo com critério mensurável, e não em ajuste manual pontual.

O que vem agora

O artigo foi submetido em 20 de outubro de 2026 e está disponível no arXiv sob o identificador 2610.27435v1, com PDF e versão HTML experimental. O material não informa cronograma de publicação em conferência, liberação de código ou disponibilidade do Harness Handbook para uso externo. Os próximos passos dependem da replicação dos experimentos por outros grupos e da avaliação de transferência para benchmarks não vistos, que o próprio artigo afirma ter testado com o mesmo modelo.