Google propõe método para benchmarks de IA mais confiáveis

O que aconteceu

Em 31 de março de 2026, os pesquisadores Flip Korn e Chris Welty, do Google Research, publicaram o estudo "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation". O trabalho introduz um framework de avaliação para modelos de machine learning baseado em dados de classificação "gold" (ouro), que otimiza o trade-off entre o número de itens avaliados e o número de avaliadores humanos por item. O objetivo é fornecer um roadmap para construir benchmarks de IA altamente reprodutíveis que capturem a nuance da discordância humana (Google Research Blog).

Contexto

Em machine learning, reprodutibilidade é a capacidade de repetir experimentos usando o mesmo código, dados e configurações e obter os mesmos resultados. Um alto nível de reprodutibilidade permite que equipes confiem umas nas outras e construam a partir do progresso alheio. O desafio é que os dados de ground truth geralmente dependem de humanos, que abordam problemas de diversas perspectivas e frequentemente discordam. Historicamente, a avaliação de IA tem usado a abordagem de "floresta" (breadth): a maioria dos pesquisadores usa de 1 a 5 avaliadores por item, assumindo que isso é suficiente para encontrar uma verdade única. O estudo sugere que esse padrão é frequentemente insuficiente para capturar a discordância natural.

Por que importa

A subjetividade que compromete a avaliação empírica é o principal desafio para a reprodutibilidade. Se dois pesquisadores rodam a mesma avaliação e obtêm resultados diferentes, a pesquisa não é reprodutível. O framework proposto ajuda a encontrar o equilíbrio ideal entre o número de itens (N) e o número de avaliadores por item (K), o que tem impacto direto em custos: obter mais amostras de múltiplos avaliadores aumenta muito o custo por item. Para empresas e pesquisadores, isso significa a possibilidade de construir benchmarks mais confiáveis sem gastar mais do que o necessário.

Impacto

No curto prazo, o estudo pode levar a uma revisão dos padrões de coleta de dados de avaliação em IA, com mais atenção ao número de avaliadores por item. No médio prazo, benchmarks mais reprodutíveis podem aumentar a confiança entre equipes de pesquisa e acelerar o desenvolvimento de modelos. Além disso, a otimização do trade-off N/K pode reduzir custos de anotação, um dos maiores gargalos na criação de benchmarks.

O que muda

A principal mudança é o questionamento da abordagem tradicional de "floresta" (breadth), que prioriza muitos itens com poucos avaliadores. O estudo propõe considerar a abordagem de "árvore" (depth), com muitos avaliadores para poucos itens, dependendo do contexto. O framework oferece uma maneira sistemática de decidir entre essas abordagens, em vez de assumir que 1 a 5 avaliadores por item são suficientes.

O que vem agora

O Google Research não anunciou oficialmente os próximos passos, mas o estudo serve como um roadmap para a comunidade de IA. Espera-se que pesquisadores e empresas adotem o framework em novos benchmarks e que o debate sobre reprodutibilidade ganhe mais atenção. A pesquisa também abre espaço para investigações adicionais sobre como a discordância humana deve ser tratada na avaliação de modelos.

Fontes

• Google Research Blog — Building better AI benchmarks: How many raters are enough? (https://research.google/blog/building-better-ai-benchmarks-how-many-raters-are-enough/)