Diffusion model nasıl gerçekten çalışıyor?

09 Tem 11:33

Diffusion modellerin "gürültü ekleyip tersini öğrenerek" resim üretmesi sadece sezgisel bir tanım değil—bunlar aslında istatistiksel fizik ve olasılık teorisinin derinliklerine dayanan, matematiksel olarak son derece sıkı bir sürecin sonucu. Temeldeki gizem, **ileri (forward)** ve **ters (reverse) diffusion** süreçlerinin birbirinin tersi gibi görünmesine rağmen, ters sürecin aslında doğrudan gözlemlenemeyen bir Markov zinciriyle modellenebilmesi. Bu durumda kayıp fonksiyonu, **Fisher bilgi metriği** ve **KL-kaybı** gibi kavramlarla birleşiyor. Özellikle ters sürecin koşullu olasılık yoğunluğu p(x_{t-1} | x_t) yerine bir model q_θ(x_{t-1} | x_t) ile tahmin edilmesi, aslında **optimal transport** problemiyle de bağlantılı. Bu da bize sadece "resim üretiyoruz" demek yerine, görüntülerin dağılımlarını nasıl hassas şekilde yeniden oluşturabildiğimizin altında yatan mekanizmayı gösteriyor. Ancak burada dikkat çekilmesi gereken bir nokta var: diffusion modellerin teorik temeli ne kadar sağlam olsa da, **uygulamada karşılaşılan sorunlar** modellerin pratikteki performansını doğrudan etkiliyor. Örneğin, TDPM (Taylor-expanded Diffusion Probabilistic Model) gibi yaklaşımlar, ters süreci basitleştirerek hesaplama maliyetini düşürmeyi hedefliyor, fakat bu durumda kayıp fonksiyonunun orijinal formdan sapması kaçınılmaz hale geliyor. Yani, matematiksel olarak ideal bir ters süreci modelleyememe riski var. Ayrıca, **gürültü seviyesinin (noise schedule) doğru ayarlanmaması**, modelin görüntülerin ince detaylarını yakalamasını zorlaştırabilir. Burada "gürültü ekleyip çıkarma" basit bir fikir gibi görünse de, aslında **çoklu-zamanlı (multiscale) dağılımların** doğru şekilde eşleştirilmesi gerekiyor. Bence diffusion modellerin en büyük handikaplarından biri de **hesaplama karmaşıklığı**. Her adımda ortalama kare hatası ya da skorbirliğin (score-matching) kullanılması, modellerin verimliliğini tehlikeye atabiliyor. Örneğin, Stable Diffusion gibi modellerin hızlı üretim yapabilmek için latent diffusion’a yönelmesi, orijinal matematiksel modelden ödün vermek anlamına geliyor. Bu da aslında diffusion’un teorik güzelliğini pragmatik uyarlamaların gölgesinde bırakıyor. Yani, "diffusion modeller nasıl çalışıyor?" sorusunun cevabı sadece matematiksel formüllerden ibaret değil; aynı zamanda **uygulama olanaklarının ve kısıtlamaların da bir analizini** gerektiriyor. Son olarak, diffusion modellerle ilgili en ilginç tartışmalardan biri de **olasılık dağılımlarını yeniden oluşturmanın ötesinde neler üretebilecekleri**. Örneğin, metinden görüntü üretimi yaparken sadece resimler elde etmekle kalmıyoruz—aynı zamanda resimlerin semantik anlamlarıyla da oynayabiliyoruz. Bu da bana şunu düşündürüyor: diffusion modelleri sadece resim üretmekle sınırlı kalmayıp, aslında **enformasyonun yeniden şekillendirilmesi** için kullanılabilir mi? Yani, resim üretiminin ötesinde, başka veri türlerinde de benzer sürecin izini sürebilir miyiz?

09 Tem 13:31

Diffusion model’lerin arkasındaki matematik esasen termodinamik’in "tersine çevrilebilir süreçler" kavramıyla sarılı—ama asıl itici güç, *olasılık yoğunluk fonksiyonlarının (PDF) evrilmesi* oluyor. **Forward diffusion** aşamasında, hedef veriyi (örneğin bir resim) üstüste eklenen Gauss gürültüsüyle *türetilmiş* bir dağılıma *yumuşatıyorsun*. Burada kritik nokta, *zaman sürecinde* PDF’in basit bir diffüzyon denklemiyle (çoğu情况下 $\partial_t p_t = \text{div}(p_t \nabla \log p_t) + \frac{1}{2} \Delta p_t$) modellenmesi. Yani, her adımda yeni bir varyansla gürültü eklenirken, aslında *Kullback-Leibler (KL) divergence*’nin zamanla minimize edildiğini görüyorsun—ama bu sadece *ayrık* zaman adımlarında çalışan bir *Itô stokastik süreci*. Peki ya kaybolan olasılık dağılımıyla ilgili en çok atlanan detay: **Reverse diffusion**’da modelin öğrenmesi gereken şey *skor fonksiyonu* ($\nabla \log p_t(x_t)$), yani gürültülü verinin gerçek dağılımından geldiği yönü. Burada hata, sadece "gürültüyü kaldır" demiyor—*her adımda* dağılımın gradyanının kestirilmesi gerekiyor. Eğer bu skor fonksiyonunu doğru yakalayamazsan, reverse process kaotik hale geliyor. Örneğin, standart Gaussian noise’u kararlı bir şekilde temizleyen bir model, *orta frekanslardaki gürültüyü* kaldırmakta zorlanabiliyor—ki bu da görüntülerdeki "bulanık" ya da "yapay" dokuların sebebi. Bir de kayıp fonksiyonlarına bakalım: Çoğu model *evrişimli sinir ağları (CNN)* kullanarak skor fonksiyonunu kestirirken, aslında *ayrıklaştırılmış Gaussian diffüzyonunda* **VAE’dekinin aksine** (ki orada ELBO kayıp fonksiyonu doğrudan kullanılır) burada kayıp sadece *son adımda* (t=0) değil, *tüm zaman adımlarında* optimize ediliyor. Yani kayıp fonksiyonu $L(\theta) = \mathbb{E}_{t,x_0,x_t} \left[ \| \epsilon_{\theta}(x_t, t) - \epsilon \|^2 \right]$ şeklinde—yani *tüm adımlarda* modelin eklenen gürültüyü tahmin etmesi isteniyor. Peki ya *orta adımlarda* başarısız olursa? İşte bu durumda **mode collapse** ya da **anormal çıkışlar** ortaya çıkıyor. Yani modelin sadece *son çıktıyı* değil, *tüm tersine çevirme sürecini* doğru öğrenmesi gerekiyor.

09 Tem 14:09

Diffusion modellerini anlamak için ilk olarak sigara dumanının dağılmasını hayal et kanka. Önce odaya bir sigara dumanı bırakıyorsun, sonra zamanla duman her yere dağılıyor ve bir süre sonra neredeyse hiçbir şey kalmıyor. İşte "forward diffusion" dedikleri şey bu: verinin üzerinden adım adım gürültü ekleyerek onun aslında var olan dağılımını bozuyorsun. Dumanın dağılıp kaybolması gibi, resimdeki pikseller de her adımda rastgele gürültüyle değiştiriliyor ve sonunda neredeyse tamamen rasgele gürültüye dönüşüyor. Burada matematiksel olarak, verinin gerçek dağılımından başlayıp Gaussian dağılımına (yani tamamen rastgele gürültüye) "yavaşça geçiş" yapıyorsun. Bu geçişi kontrol eden de bir dizi varyans parametresi oluyor, yani ne kadar hızlı gürültü ekleyeceğini sen belirliyorsun. Reverse diffusion'taysa modelin yaptığı şey, bu gürültüden resmi yeniden inşa etmek. Yani sigara dumanının fotoğrafından başlayarak dumanı adım adım toplayıp orijinal resme geri götürmek gibi. Bu aşamada model, bir önceki adımdaki veriyi kullanarak "eğer şu adımda bu kadar gürültü varsa, o zaman bu adımda ne olmalı?" diye tahmin yapıyor. Kayıp fonksiyonuysa (loss function) tam olarak bu tahmindeki hatayı ölçmekten geçiyor. Örneğin, modelin tahmin ettiği resimle gerçek resim arasındaki farkın en aza indirgenmesi gerekiyor. Burada kullandığın kayıp fonksiyonu genellikle mean squared error (MSE) ya da varyans bazlı bir şey oluyor. Diffusion modellerinin en güzel yanı da zaten bu adım adım temizleme süreci: orijinal veriye ulaşana kadar gürültüyü tutarlı bir şekilde azaltmak ve sonunda gerçekçi bir sonuç üretmek.