Modelos de decisão falham ao distribuir probabilidade entre múltiplas respostas corretas, aponta arXiv

O que aconteceu

O artigo "When Multiple Choices Are Correct: Asymmetric Probability Allocation in Jev and Other Decision Models" foi submetido ao arXiv em 21 de outubro de 2026 (arXiv:2610.29217v1). Os autores avaliaram três modelos de decisão: Jev, Liquid d1 e GPT-6 Luna Decisions. A avaliação usou três datasets diversos: MetaTool, HotpotQA e ECtHR.

O problema central identificado é que modelos de decisão retornam distribuições de probabilidade normalizadas sobre escolhas candidatas, e aplicações downstream usam essas probabilidades para selecionar entre opções. Os provedores enfatizam a confiabilidade dessas probabilidades, mas a calibração em tarefas com uma única resposta correta não estabelece confiabilidade quando múltiplas escolhas estão corretas.

O estudo mede a alocação de probabilidade e o uso de limiares (thresholding). Mesmo quando os modelos ranqueiam cada escolha correta acima de cada distrator, em 28% a 50% dessas listas ao menos uma escolha correta recebe probabilidade abaixo da probabilidade uniforme de 1/n, onde n é o número de escolhas.

Contexto

Modelos de decisão são usados em sistemas que precisam escolher entre alternativas, como agentes de IA, sistemas de recomendação e pipelines de perguntas e respostas. A prática comum é confiar nas probabilidades retornadas para decidir quais opções são válidas, aplicando um limiar para separar corretas de incorretas.

A pesquisa testa essa suposição em cenários com múltiplas respostas corretas, algo comum em tarefas reais. Os datasets escolhidos cobrem domínios distintos: MetaTool (ferramentas e APIs), HotpotQA (perguntas de múltiplos saltos) e ECtHR (decisões judiciais da Corte Europeia de Direitos Humanos).

Por que importa

O achado principal é que as probabilidades de modelos de decisão podem ranquear escolhas corretas, mas um limiar de probabilidade não identifica o conjunto de escolhas corretas. Isso afeta diretamente aplicações que dependem de limiares para filtrar respostas.

Em um experimento adicional, os autores apresentaram a cada modelo cinco cópias idênticas de uma escolha correta. Observaram disparidades de probabilidade, com lacunas médias variando de 17 a 79 pontos percentuais. Ou seja, a mesma resposta correta recebeu probabilidades muito diferentes apenas por aparecer repetida.

Impacto

As disparidades de alocação afetam a recuperação de múltiplas escolhas corretas sob thresholding de probabilidade. Sistemas que usam um corte fixo para decidir quais opções são válidas podem descartar respostas corretas que receberam probabilidade baixa, mesmo estando entre as melhores colocadas no ranking.

O estudo mostra que a confiabilidade das probabilidades não se sustenta quando há mais de uma resposta correta. Isso tem implicações para produtos que usam modelos de decisão para selecionar ferramentas, responder perguntas complexas ou apoiar decisões jurídicas.

O que muda

A pesquisa sugere que desenvolvedores não devem tratar o limiar de probabilidade como um identificador do conjunto de respostas corretas. O ranking pode ser útil, mas o corte não. A alocação assimétrica de probabilidade entre escolhas igualmente corretas é um fenômeno observado nos três modelos e nos três datasets.

Os autores não propõem uma solução definitiva no resumo, mas indicam que a calibração em tarefas de resposta única não é suficiente para garantir confiabilidade em tarefas com múltiplas respostas corretas.

O que vem agora

O artigo está disponível no arXiv (arXiv:2610.29217v1) e pode ser lido na íntegra. A pesquisa abre caminho para novos métodos de calibração que considerem múltiplas escolhas corretas e para revisão de práticas de thresholding em sistemas que usam modelos de decisão. Não há prazo divulgado para aplicação prática ou atualização dos modelos avaliados.