Fine-tuning corrige mode collapse em LLMs, diz estudo

O que aconteceu

O artigo Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs, registrado como arXiv:2609.16454v1 na área de Inteligência Artificial, foi submetido em 15 de setembro de 2026. A proposta central é uma forma de medir diversidade sem depender de impressão subjetiva: calcula-se a probabilidade de colisão, ou seja, a chance de duas respostas amostradas de forma independente a partir do mesmo prompt fixo coincidirem, além da similaridade esperada entre elas sob um kernel.

A medição por colisão vem do paper arXiv:2609.16454v1, submetido ao arXiv em 15 de setembro de 2026. Com essa métrica em mãos, os autores derivam uma decomposição de viés e variância para o gap esperado entre a probabilidade de colisão do modelo e a do alvo. A conclusão é que o fine-tuning supervisionado, conhecido pela sigla SFT, não é inerentemente enviesado nem para o mode collapse nem para o seu oposto. Com poucos dados de amostra, o modelo pode ficar subdisperso ou superdisperso, dependendo do modelo e do dataset usados.

O paper também apresenta um limite teórico: o gap absoluto entre modelo e alvo é limitado pela raiz quadrada da divergência de Kullback-Leibler do alvo em relação ao modelo. Na prática, isso significa que um modelo suficientemente próximo do ótimo sob cross-entropy populacional não pode exibir diversidade arbitrariamente descalibrada.

Três experimentos sustentam a tese. No primeiro, pequenos transformers foram treinados em línguas sintéticas. No segundo, quatro LLMs passaram por fine-tuning sobre pesquisas com respostas humanas. No terceiro, os mesmos quatro LLMs foram ajustados no CodeNet, base de soluções de código escritas por pessoas. Em todos os casos, mais dados do alvo empurraram a diversidade do modelo em direção ao nível humano ou sintético, como previa a formulação teórica.

Contexto

A pesquisa dialoga com uma sequência de trabalhos que alimentou a desconfiança sobre LLMs. Doshi e Hauser, em 2024, Bisbee e coautores, também em 2024, e Xie e coautores, em 2026, levantaram a preocupação de que as saídas de grandes modelos de linguagem tendem a ser subdiversas. As respostas se repetem ou se parecem entre si mais do que as respostas da população que o modelo deveria representar. Esse é o fenômeno conhecido como mode collapse.

O novo estudo não nega o fenômeno, mas reposiciona a causa. Em vez de um vício estrutural do SFT, o desalinhamento de diversidade seria resultado de erro de amostra finita. Antes, a leitura dominante apontava o método como culpado. Agora, o argumento é que o volume e a qualidade dos dados de ajuste definem se o modelo vai repetir demais ou variar demais.

Por que importa

A questão não é abstrata. LLMs são usados para simular entrevistados em pesquisas de opinião, gerar personas, produzir respostas sintéticas para testes de produto e avaliar modelos de linguagem em benchmarks. Um modelo subdisperso subestima a variância real das opiniões humanas. Um modelo superdisperso faz o contrário e infla diferenças que não existem. Nos dois casos, quem decide com base nesses números erra na mesma proporção.

Quem ganha com o resultado são equipes que fazem fine-tuning com dados próprios, especialmente as que trabalham com pesquisas sociais e código. Quem precisa rever processo são os times que tratam o mode collapse como característica fixa de um modelo e ajustam prompts para compensar, em vez de investir em mais dados de treino.

Impacto

O limite pela divergência de Kullback-Leibler tem consequência prática para avaliação. Se um modelo está próximo do ótimo em cross-entropy populacional, sua diversidade não pode estar arbitrariamente errada. Isso sugere que métricas de colisão e de similaridade sob kernel deveriam entrar na bateria padrão de testes, ao lado de acurácia e perplexidade.

Os experimentos com pesquisas humanas e com o CodeNet indicam onde o efeito pesa mais: simulação de respostas de pessoas e geração de código. Nos dois terrenos, a diversidade das saídas é parte do resultado, não ruído a ser eliminado.

O que muda

O recado para quem treina modelos é direto. Antes de atribuir repetição excessiva ao SFT, vale medir a probabilidade de colisão contra o alvo. Se o gap for grande, mais dados de ajuste tendem a reduzir a distância, conforme os três experimentos do paper arXiv:2609.16454v1. O estudo arXiv:2609.16454v1 foi submetido em 15 de setembro de 2026 e está disponível publicamente.

O que vem agora

O material não informa aceitação em conferência nem revisão por pares concluída. O que existe é o preprint no arXiv, com a decomposição de viés e variância, o limite pela divergência de Kullback-Leibler e os três blocos de experimentos abertos à replicação. A agenda natural é testar a mesma medição de colisão em modelos maiores e em outros domínios de dados humanos.

Fontes

• arXiv cs.AI: Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs (arXiv:2609.16454v1, submetido em 15 de setembro de 2026) (https://arxiv.org/abs/2609.16454)