Voto majoritário piora respostas de LLMs pequenos em ciência difícil

O que aconteceu

O estudo "When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs" (arXiv:2608.11403) avaliou a técnica de self-consistency (SC) nas 198 questões do GPQA Diamond, benchmark de ciência em nível de pós-graduação. A técnica consiste em amostrar N cadeias de raciocínio e retornar a resposta de pluralidade. Em vez de ganho, o voto majoritário reduziu a acurácia por problema na maioria dos casos: 56,6% das questões pioraram com Qwen2.5-7B e 65,7% com Llama-3-8B, que partiu de uma linha de base próxima do acaso (fonte: arXiv).

O resultado foi pré-registrado: o efeito apareceu em 47 problemas exploratórios e foi confirmado em uma divisão de 151 problemas, com as quatro hipóteses confirmatórias aprovadas.

Contexto

Self-consistency é uma forma popular de gastar compute em inferência: em vez de treinar um modelo maior, amostram-se N cadeias de pensamento de um mesmo modelo e escolhe-se a resposta mais frequente. O GPQA Diamond reúne perguntas de ciência consideradas difíceis até para especialistas. O estudo testou dois modelos pequenos instruction-tuned de famílias diferentes, com Qwen como demonstração principal e Llama corroborando a direção do resultado.

Por que importa

Para equipes que usam LLMs pequenos em tarefas científicas, o trabalho indica que aumentar N no voto majoritário pode custar compute e ainda prejudicar a resposta. A pesquisa também mostra que portões simples não salvam o método: nem um gate de concordância de pluralidade nem um gate de entropia de tokens mudaram a acurácia em mais de 0,002 em relação ao voto fixo com N=64. Um oráculo que roteasse cada problema para o melhor N em {1, 2, 4, 8, 16, 32, 64} marcaria um limite teórico 14 pontos acima de N=1 para Qwen e 17 para Llama, mas exige ground truth e não é um método implementável.

Impacto

A descoberta reforça que confiança não acompanha corretude nesses problemas: no grupo de maior concordância entre cadeias, a resposta de pluralidade estava correta apenas cerca da metade das vezes para Qwen; para Llama, esse grupo foi menos acurado que o de menor concordância. No curto prazo, quem usa modelos pequenos deve reavaliar a prática de aumentar N como atalho de qualidade. No médio prazo, o resultado pressiona por métodos de verificação que não dependam apenas da consistência interna do modelo.

O que muda

A principal mudança é metodológica: o estudo pré-registra e confirma um efeito contraintuitivo em dois modelos de famílias distintas, o que deve levar a reanálises de achados anteriores sobre self-consistency. Também coloca em xeque a ideia de que gastar mais compute em inferência substitui com segurança uma maior capacidade do modelo.

O que vem agora

Os autores não testaram modelos nativos de raciocínio (reasoning-native models), que apontam como a questão central em aberto. Os próximos passos esperados incluem avaliar se a degradação se repete em modelos treinados especificamente para raciocínio e desenvolver gates ou verificadores que consigam capturar quando a resposta de pluralidade é confiável.

Fontes

• arXiv cs.AI — "When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs" (arXiv:2608.11403v1) — https://arxiv.org/abs/2608.11403