Como funciona um modelo de difusão: a técnica por trás de Stable Diffusion e Midjourney

Todo modelo de difusão parte de uma inversão curiosa.

Em vez de ensinar a máquina a desenhar, os pesquisadores a ensinam a apagar.

Durante o treinamento, o sistema recebe imagens reais e aplica ruído gaussiano sobre elas em etapas sucessivas, tipicamente centenas ou milhares de passos, até a imagem original virar um conglomerado aleatório de pixels sem informação aparente.

O modelo, geralmente uma rede neural do tipo U-Net, aprende a prever qual ruído foi adicionado em cada etapa.

Com esse aprendizado em mãos, o processo é invertido na geração: parte-se de um tensor de puro ruído e o modelo remove o ruído previsto em cada passo, de trás para frente, até reconstruir uma imagem coerente.

A analogia mais usada no meio acadêmico é a de uma gota de tinta em água.

A tinta se espalha até se tornar irreversível aos olhos, mas quem conhece a física da difusão consegue, teoricamente, simular o caminho de volta.

O modelo de difusão faz exatamente isso com pixels. ## Os três processos que definem a técnica **Difusão direta (forward process).** É a fase de treinamento em que ruído é somado à imagem de forma gradual e controlada, seguindo um cronograma matemático de variância.

Cada etapa destrói um pouco da estrutura, e o objetivo é que, no fim, a distribuição de dados seja indistinguível de ruído aleatório. **Difusão reversa (reverse process).** Na geração, o modelo percorre o caminho contrário.

Em cada passo ele estima o ruído presente e o subtrai.

Nenhum passo isolado produz algo reconhecível, e é por isso que ferramentas como Stable Diffusion exibem contadores de passos, frequentemente entre 20 e 50, com o resultado se consolidando ao longo deles. **Condicionamento.** O ruído sozinho geraria imagens aleatórias.

Para direcionar o resultado, o modelo recebe uma condição, quase sempre um texto convertido em embeddings por um codificador de texto.

No caso do Stable Diffusion, da Stability AI, o codificador CLIP interpreta o prompt e orienta cada passo de remoção de ruído rumo ao que foi descrito.

Técnicas como o classificador-free guidance amplificam essa orientação, trocendo fidelidade ao texto por diversidade. ## Por que Stable Diffusion roda em um notebook Um detalhe técnico explica a popularização da técnica.

Modelos como o Stable Diffusion não operam sobre pixels diretos, e sim sobre um espaço latente comprimido por um autoencoder.

A imagem é reduzida primeiro para uma representação menor, o processo de difusão inteiro acontece nesse espaço reduzido, e um decodificador reconstitui a resolução no final.

Essa arquitetura, batizada de latent diffusion e descrita por pesquisadores da Universidade de Munique e da Runway em 2022, corta drasticamente o custo computacional.

Difundir em espaço latente torna viável gerar imagens em GPUs de consumo, o que abriu caminho para ferramentas de código aberto rodarem localmente, sem depender de data centers. ## Onde a técnica aparece além de imagens A difusão não nasceu para imagens, nem se limita a elas.

Os mesmos princípios já são aplicados em áudio, com geração e restauração de voz, em vídeo, com modelos que animam sequências quadro a quadro, e até em biologia, para propor estruturas de proteínas.

No campo científico, os modelos de difusão também servem para aumentar a resolução de imagens médicas e remover ruído de dados, retornando ao propósito original da ideia: limpar o que está corrompido.

Em texto, a arquitetura dominante segue sendo o transformer, base de modelos como o GPT.

A difusão encontra nesse terreno resistência prática, embora pesquisas na direção existam. ## Por que às vezes a imagem sai errada Os defeitos típicos das IAs de imagem fazem sentido quando se entende o mecanismo.

Mãos deformadas, textos ilegíveis e objetos fundidos decorrem do fato de que cada passo de remoção de ruído é uma estimativa probabilística, não uma reconstrução exata.

Se o modelo prevê mal o ruído em uma região, o erro se propaga para os passos seguintes.

Prompts muito longos dividem a atenção do condicionamento entre dezenas de conceitos, e detalhes periféricos são os primeiros a se degradar.

Reduzir o número de passos de amostragem acelera a geração, mas deixa mais ruído residual.

Ajustar esse equilíbrio entre passos, intensidade do guidance e fidelidade do prompt é, na prática, o ofício de quem trabalha com essas ferramentas.

O modelo não guarda um banco de imagens nem copia um arquivo existente.

Ele aprendeu a distribuição estatística dos dados de treinamento e amostra dessa distribuição, o que explica tanto a originalidade dos resultados quanto os vieses herdados da base de dados usada no treinamento.