FLOPs não prevê tempo de execução em IA: replicação questiona fórmula alpha-FLOPs

O que aconteceu

Um estudo de replicação submetido ao arXiv em 30 de abril de 2026 (arXiv:2608.14550) testou a validade da fórmula alpha-FLOPs, originalmente proposta para estimar o tempo de execução de camadas de redes neurais a partir de operações de ponto flutuante. Os autores repetiram os experimentos em hardware mais novo e mais poderoso, e encontraram resultados negativos para a fórmula.

Os dados mostram que a relação entre FLOPs e tempo de execução é "muito menos direta" do que o estudo original sugeria. Em vez de uma curva previsível, os novos testes revelaram saltos, oscilações e descontinuidades no tempo de execução, que a fórmula alpha-FLOPs "geralmente subestima". Apesar disso, o estudo valida a tese central do trabalho original: FLOPs puro, sem considerar o tipo de operação, não é uma métrica adequada para estimar tempo.

Os pesquisadores também apontaram limitações no material de replicação fornecido pelo estudo original, incluindo falta de detalhes sobre dependências de software e pouca transparência em relação aos dados usados nas regressões.

Contexto

O uso de FLOPs como métrica de custo computacional é comum tanto na academia quanto na indústria, especialmente em modelos de larga escala com alto consumo de energia. Mas a métrica é limitada: camadas com o mesmo número de FLOPs podem ter tempos de execução muito diferentes, porque algumas operações são mais fáceis de paralelizar do que outras. Por exemplo, operações que atuam em dimensões espaciais de um tensor são mais facilmente paralelizáveis do que operações em dimensões de canal (kernel).

A fórmula alpha-FLOPs foi criada para ajustar essa diferença, atribuindo pesos a diferentes operações. O estudo agora replicado buscou verificar se esses pesos continuam válidos em hardware mais moderno, onde a arquitetura das GPUs mudou significativamente.

Por que importa

Para empresas brasileiras e globais que treinam ou executam modelos de IA, saber o tempo de execução real é essencial para dimensionar infraestrutura, estimar custos de nuvem e planejar consumo de energia. Se uma fórmula de estimativa falha, decisões de compra de hardware e alocação de recursos podem ser tomadas com base em números errados.

O estudo também chama atenção para um problema mais amplo: a falta de pacotes de replicação completos em pesquisas que dependem de hardware. Sem eles, é impossível verificar resultados ou adaptá-los a novos ambientes. Os autores fornecem um pacote completo de replicação para sua implementação, mas destacam que isso deveria ser o padrão, não a exceção.

Impacto

No curto prazo, a pesquisa indica que quem usa fórmulas como a alpha-FLOPs para estimar tempo de execução deve tratá-las com cautela. Em vez de confiar em estimativas teóricas, pode ser necessário medir diretamente o desempenho no hardware específico de cada aplicação.

A médio prazo, o estudo pode levar a um revisão da fórmula ou ao desenvolvimento de novas métricas que considerem não apenas o tipo de operação, mas também as características do hardware. Também reforça o movimento por mais abertura em pesquisas de eficiência computacional, especialmente em um momento em que o custo energético de IA virou um tema central.

O que vem agora

Os autores do estudo de replicação publicaram seu código e dados para permitir que outros grupos testem os mesmos experimentos em ainda mais hardware. Espera-se que novos trabalhos explorem por que as oscilações aparecem em GPUs modernas e se ajustes na fórmula alpha-FLOPs podem resolver o problema — ou se é necessário abandoná-la completamente.