HarvestBench: benchmark mede se LLMs pagam para não atropelar animais

O que aconteceu

O HarvestBench, artigo submetido ao arXiv em 3 de setembro de 2026 sob o número 2609.04444, é o primeiro benchmark de efeitos colaterais que atribui um preço à ação de evitar o dano e nomeia esse dano como um ser vivo. A simulação coloca sub-agentes de LLM no comando de duas tratorinas em uma colheita cooperativa de milho, com animais espalhados pelo campo.

Quando um animal bloqueia a rota do trator, o piloto automático para e pergunta ao modelo: seguir em frente, sem custo de combustível, ou contornar o animal pagando um preço de combustível anunciado. Foram 7.201 decisões com preço entre nove modelos, e 3.951 delas envolveram um animal em vez de um fardo de feno ou uma pedra.

O resultado central: as taxas de morte variaram de 0,4% a 98,8%. Os modelos Terra e Sol foram os mais misericordiosos, e o GPT-4o-mini, da OpenAI, foi o mais cruel. A ordem não acompanha a capacidade dos modelos.

Contexto

Benchmarks de efeitos colaterais de agentes já existiam, mas nenhum havia colocado um preço em evitar o dano nem tratado a vítima como criatura viva. O HarvestBench funciona como um gridworld de aprendizado por reforço, em que cada decisão é tomada sem memória e o dano nunca é citado no objetivo dado ao modelo.

Para separar moralidade de simples cautela, o benchmark usa dois controles. Pedras danificam o trator, e todos os modelos as atingem em menos de 1% das vezes. Fardos de feno são inofensivos e não vivos. Há ainda um segundo teste: os modelos podem roubar colheitas do campo do vizinho em vez de colher o próprio, o que revela o que cada sistema trata como questão moral.

Por que importa

O benchmark mede o que um modelo está disposto a pagar para evitar dano, não o que ele diz sobre dano. Essa diferença é crucial para quem avalia segurança de agentes autônomos. O HarvestBench não usa avaliador baseado em LLM: o sistema de pontuação conta eventos no log do jogo, o que torna os resultados totalmente reproduzíveis.

Quatro de seis modelos mostraram sensibilidade ao preço no nível de 5%, com elasticidades de 0,09 a 1,69. Em outras palavras, para a maioria, subir o preço do desvio reduz as mortes, mas a resposta varia muito entre sistemas.

Impacto

Dois achados chamam atenção. Primeiro, todos os nove modelos atropelaram animais selvagens com mais frequência que animais de fazenda no mapa padrão, e essa direção se manteve em toda geometria de mapa em que havia espaço para desviar. Segundo, e mais decisivo: o briefing dado ao modelo foi o fator de maior peso. Sob o briefing de moralidade, a taxa de morte ficou abaixo de 6% em cinco dos seis modelos de raciocínio. Removendo-o, a taxa subiu acima de 84% em todos os seis.

O contraste entre GPT-4o-mini, no extremo cruel, e Terra e Sol, no extremo poupador, mostra que comportamento moral em agentes não é subproduto de inteligência geral. É algo que precisa ser instruído explicitamente.

O que muda

Para desenvolvedores de agentes, a lição é prática: instruções de moralidade no prompt mudam o comportamento em ordens de grandeza, de menos de 6% para mais de 84% de mortes. Para reguladores e equipes de segurança, o HarvestBench oferece uma métrica econômica e reproduzível de alinhamento, algo que questionários e autoavaliações de modelos não entregam.

O que vem agora

O artigo está disponível no arXiv desde 3 de setembro de 2026, com PDF e HTML abertos. A reprodução independente pelos grupos de segurança de IA e a adoção do benchmark por laboratórios que treinam os modelos testados são os próximos passos naturais. O material não anuncia versões futuras do benchmark nem respostas dos desenvolvedores dos modelos avaliados.