Créditos para revisar: proposta quer transformar avaliação de papers em ML

O que aconteceu

Pesquisadores divulgaram no arXiv o paper de posicionamento "Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System" (arXiv:2608.14571). O trabalho parte de duas constatações: o volume de submissões em conferências de machine learning está alto e a qualidade das revisões é amplamente criticada. A proposta central é criar um sistema de créditos, chamado OpenReview Points, que funcionaria como uma moeda: revisores ganham pontos por boas práticas de avaliação e podem gastá-los em "perks" em conferências, como inscrição gratuita ou recursos extras de revisão (fonte: arXiv).

Contexto

A comunidade de ML vive um paradoxo: é uma das maiores presenças acadêmicas entre todas as áreas científicas, impulsionada por plataformas como OpenReview e políticas de revisão recíproca, mas sem a pressão de taxas de publicação. Esse cenário, combinado com o número crescente de submissões, gera uma experiência de revisão que o próprio paper descreve como desagradável para quase todos. O texto argumenta que não há espaço público para debater o que torna um sistema de revisão eficaz ou como melhorá-lo.

Por que importa

A qualidade da revisão por pares afeta diretamente o avanço da pesquisa em IA. Revisores sobrecarregados e sem incentivos claros tendem a produzir avaliações superficiais, atrasando descobertas e frustrando autores. O paper sugere que conselhos educados em chamadas de papers ou diretrizes para revisores não funcionam. Ele defende salvaguardas processuais aplicáveis e um sistema de créditos semelhante a uma moeda, que poderia ser usado em múltiplas conferências importantes. Para o ecossistema brasileiro de pesquisa em IA, a discussão é relevante: conferências como NeurIPS e ICML são gateways para colaborações e financiamento, e a qualidade das revisões afeta pesquisadores de todos os países.

Impacto

Se implementado, o sistema de créditos pode mudar a dinâmica de incentivos na comunidade acadêmica de ML. Em vez de depender da boa vontade de voluntários, o sistema criaria um mercado de boas revisões. Isso pode reduzir o desequilíbrio entre oferta e demanda de revisões e elevar o padrão mínimo de qualidade. No curto prazo, a proposta abre um debate público — que o próprio paper lamenta não existir — sobre mecanismos alternativos, como quotas de submissão e penalidades. Conferências que adotarem o sistema poderiam se destacar como mais justas e rigorosas.

O que muda

O paper avalia quatro mecanismos populares em conferências e propõe dois designs alternativos de melhoria. A mudança central é sair de uma abordagem baseada em recomendações para uma baseada em incentivos econômicos. Os OpenReview Points seriam auditáveis e transferíveis entre conferências, criando um ecossistema integrado. Isso representa uma ruptura com o modelo atual, em que a revisão é tratada como dever cívico, e não como atividade valorizada.

O que vem agora

O position paper chega como um chamado à ação. Não há confirmação de que conferências reais adotarão o sistema, mas a discussão tende a ganhar tração em fóruns científicos. Espera-se que a comunidade organize debates sobre viabilidade técnica, governança dos créditos e resistência cultural. Para pesquisadores brasileiros, acompanhar essa evolução pode antecipar mudanças em procedimentos de submissão em conferências internacionais.

---

Fontes:

• arXiv: Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System — https://arxiv.org/abs/2608.14571