Calibração PTQ em embedders: dose alta derruba NDCG em 71 pontos

O que aconteceu

Pesquisadores publicaram no arXiv em 19 de outubro de 2026 o artigo "When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders" (arXiv:2610.27397v1). O trabalho investiga duas perguntas que, segundo os autores, costumam ser confundidas: até onde calibrar e se vale calibrar.

O experimento cobriu três embedders de texto em quantização de pesos de 4 bits: e5-base-v2, BGE-M3 e EmbeddingGemma-300m. Foram 161 execuções de calibração. Em EmbeddingGemma, a mesma grade de learning rate produziu variação de +1,47 a -71,53 pontos de NDCG@10 no domínio avaliado. Um objetivo cosine sem rótulos colapsou na mesma dose (-69,52 contra -71,63), o que indica que o colapso é propriedade da calibração aprendível, não da supervisão de recuperação.

A sensibilidade ao objetivo é heterogênea. No e5, a calibração por ranking se mostrou substancialmente mais robusta que a cosine com deslocamento equivalente: +14,16 ± 4,34 pontos percentuais, com intervalo de confiança t de 95% entre +3,37 e +24,96, em três slates pareados. No BGE-M3, a ordem se inverte direcionalmente, mas o resultado não é conclusivo (intervalo de -5,18 a +2,38).

A dose é o eixo principal, mas não uma estatística suficiente. Dois caminhos que atingem o mesmo deslocamento funcional D_func podem diferir em até 1,61 ponto percentual.

Contexto

A quantização pós-treinamento ajusta os parâmetros do quantizador em um pequeno conjunto de calibração. Em um embedder de texto, a supervisão natural é a relevância de recuperação. A prática comum trata a calibração como etapa padrão de pipeline, sem verificar se ela melhora ou piora o modelo final.

O artigo separa essa suposição em duas decisões distintas. A primeira é a dose: quanto atualizar os parâmetros. A segunda é a aceitação: se o checkpoint calibrado deve substituir o baseline não calibrado. Os autores tratam a calibração como intervenção opcional, e não como ganho automático.

O estudo também documenta o que permanece em aberto, incluindo eficiência de rótulos. A escolha do objetivo de calibração, ranking ou cosine, muda o resultado de forma dependente do modelo, o que impede uma recomendação única para todos os embedders.

Por que importa

Embedders de texto alimentam busca semântica, RAG e sistemas de recomendação. Uma queda de 71,53 pontos de NDCG@10 em EmbeddingGemma-300m não é degradação marginal: é a diferença entre um sistema útil e um que devolve resultados irrelevantes. O mesmo procedimento fixo, aplicado com a mesma grade de learning rate, pode produzir ganho de 1,47 ponto ou colapso de 71,53 pontos.

Para equipes que operam pipelines de quantização, o resultado implica que a calibração precisa de validação por consulta, não de confiança no procedimento. O custo de ignorar isso é um modelo em produção pior que a versão não calibrada.

O achado sobre o objetivo cosine reforça o ponto. Um objetivo sem rótulos, que pareceria mais barato e mais simples, colapsa na mesma dose que o objetivo supervisionado. O problema não está na supervisão de recuperação, mas na própria calibração aprendível quando a dose passa do ponto.

Impacto

Os autores propuseram uma regra pré-registrada que aceita um checkpoint apenas quando um intervalo de confiança pareado por consulta, calculado em uma divisão de 25% entre calibração e validação, supera o baseline não calibrado. A regra foi executada em 6 slates independentes e cinco braços.

O resultado: zero seleções prejudiciais em 30 decisões. A regra reteve 8 das 11 atualizações benéficas e pagou uma regret média de oráculo de 1,52 ponto percentual. Houve uma abstenção que abriu mão de 11,13 pontos percentuais. Os autores descrevem esse resultado como um trade-off entre segurança e oportunidade, não como melhoria gratuita.

Na prática, a regra protege contra o pior caso, mas deixa ganho na mesa. Para um time com orçamento de avaliação limitado, a abstenção de 11,13 pontos percentuais pode ser o custo aceitável para evitar um checkpoint que derruba o sistema.

O que muda

A calibração PTQ deixa de ser etapa automática e passa a ser decisão com validação. O deslocamento funcional D_func vira métrica de acompanhamento, mas não basta sozinho: caminhos diferentes com o mesmo D_func divergem em até 1,61 ponto percentual.

A escolha do objetivo também deixa de ser detalhe. No e5-base-v2, ranking supera cosine em 14,16 pontos percentuais com deslocamento equivalente. No BGE-M3, a direção se inverte, mas sem significância. Não há receita única entre os três embedders testados.

O que vem agora

Os autores listam questões em aberto, com destaque para eficiência de rótulos. O artigo não define prazo para versões futuras nem anuncia código ou dados associados. O texto completo está disponível no arXiv sob o identificador 2610.27397v1, submetido em 19 de outubro de 2026.

Fontes

• arXiv: "When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders" (arXiv:2610.27397v1) — https://arxiv.org/abs/2610.27397