Ego2World: benchmark transforma vídeos de cozinha em mundos executáveis

O que aconteceu

O artigo Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning foi submetido ao arXiv em 2 de outubro de 2026, na categoria Computer Science > Artificial Intelligence, sob o identificador arXiv:2610.02715v1. A proposta central é um compilador que liga passos e objetos das atividades de cozinha a regras de ação simbólicas, estados persistentes de mundo e condições explícitas de tarefa.

Na prática, isso significa que os pesquisadores podem executar as ações que um agente escolhe e conferir o resultado dentro de um mundo com regras próprias. O Ego2World mantém separados dois elementos: o estado real do mundo e a crença do agente sobre esse estado. Essa separação sustenta estudos controlados de planejamento e de reúso de informação em tarefas que continuam ao longo do tempo.

Contexto

Vídeos egocêntricos registram como as pessoas executam atividades do dia a dia, mas observar não é o mesmo que agir. Testar um agente exige avaliar as consequências das ações que ele mesmo escolhe, e não apenas o que aparece gravado. O Ego2World foi construído para cobrir essa lacuna, transformando gravações anotadas em ambientes onde as decisões do agente têm efeito verificável.

O compilador do Ego2World converte cada passo-fonte e cada objeto em regras de ação e condições de tarefa. Com isso, a execução deixa de ser uma checagem abstrata e passa a produzir traços concretos, que mostram onde o agente parou, o que conseguiu fazer pela metade e o que rodou até o fim sem atingir o objetivo.

Por que importa

Os autores avaliaram seis planejadores em 105 tarefas. O resultado principal chama atenção: operações aceitas com frequência deixam as metas da tarefa sem cumprimento. Em outras palavras, o agente pode executar cada passo sem erro aparente e ainda assim não alcançar o objetivo final.

Essa distinção é relevante para quem desenvolve agentes interativos. Traços de execução e checagens de condição permitem diferenciar três situações que benchmarks mais simples tratam como iguais: execução interrompida, cumprimento parcial e execução completa sem cumprimento de meta. Separar esses casos muda a forma de diagnosticar falhas de planejamento.

Impacto

Além da avaliação dos seis planejadores, os pesquisadores conduziram um estudo pareado separado com o modelo Qwen-Plus. Nesse teste, a adoção de crença persistente elevou a validade das ações em 4,15 pontos percentuais e reduziu as tentativas de consulta visual em 90,27%. O mesmo experimento registrou maior uso de tokens e nenhum ganho detectado de conclusão de tarefa.

O contraste é o ponto central do estudo com Qwen-Plus. Manter memória do estado aumenta a chance de uma ação proposta fazer sentido e diminui muito a necessidade de o agente olhar de novo para a cena, mas esse benefício não se converteu em mais tarefas concluídas dentro do recorte avaliado.

O que muda

O Ego2World se apresenta como um testbed reutilizável. Sua função é rastrear como escolhas de planejamento e de memória afetam a execução, a demanda por observação e o cumprimento de tarefas. A ligação entre atividade humana gravada e avaliação de agentes interativos é o que o benchmark pretende oferecer de forma padronizada.

Para a área, o trabalho reforça que validade de ação, uso de tokens e conclusão de tarefa são métricas que podem se mover em direções diferentes. Um agente que age de forma mais coerente não é automaticamente um agente que termina o que começou.

O que vem agora

O artigo não informa cronograma de novos experimentos nem planos de expansão do benchmark para além das 105 tarefas e das atividades de cozinha analisadas. O material descreve o Ego2World como um testbed reutilizável, o que abre espaço para outros grupos rodarem seus próprios planejadores sobre a mesma base.

Fontes

• arXiv cs.AI: Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning (https://arxiv.org/abs/2610.02715)