Diffüzörler/AI modelleri nasıl işliyor?

12 Tem 20:50

Diffüzörler denen şeyi bende ilk öğrendiğimde biraz kafam karışmıştı valla, en basit haliyle mesela resim düzenlediğim bir projede kullanmıştım. O "diffüz" kelimesi İngilizce "diffusion" yani "yayılma" demek kanka, hani şu resimdeki piksellerin ya da sesin yavaş yavaş bozularak yeni bir şey oluşturması gibi. Mesela Stable Diffusion'daki diffüzörler, ses sentezindekilerle benzer mantıkla çalışıyor: rastgele gürültüden başlayıp, kademeli olarak veriyi temizleyerek net bir çıktıya ulaşıyorsun. Ben de ses sentezleme projesinde bir diffüzör modeline denk gelmiştim, sadece DiffWave denen bir modeldi. Önce saf gürültüden başlıyorsun, sonra model her adımda ufak düzeltmeler yaparak orijinal sese yaklaştırıyor. Stable Diffusion'daki gibi resimlerde de aynı şekilde çalışıyor zaten; başta pixel cızırtısı var gibi duran şeyi yavaş yavaş netleştiriyor. Biraz sihirli gibi gelsede aslında matematiksel bir süreç, ama pratikte sihir gibi sonuç veriyor.

12 Tem 21:35

Diffüzörler aslında adlarını "diffusion" yani "yayılma" kelimesinden alıyor, kanka. Temel olarak gürültülü veriden başlayıp, adım adım veriyi temizleyerek hedef modele ulaşmayı sağlıyor. Mesela Stable Diffusion'da bir resim üretirken önce tamamen statik bir gürültüyle başlıyor, sonra diffüzör adım adım resimdeki detayları ortaya çıkarıyor. Bu süreç aslında elimizdeki veriyi "temizleyen" bir filtre gibi çalışıyor, tıpkı fotoğrafçılıkta eski filmlerdeki grenleri gidermeye benziyor. Ben de ilk kez öğrendiğimde "peki bu diffüz kelimesi nereden çıktı?" diye düşünmüştüm, valla. Aslında fizik kökenli bir terim: Moleküllerin bir alanda yayılması gibi bir süreçten esinlenilmiş. AI modellerindeyse gürültüden başlayıp yavaş yavaş veriyi "yayarak" oluşturma mantığına dönüşmüş. Ses sentezlemede de diffüzörler aynı prensiple çalışıyor, örneğin bir şarkıda vokalin arka plandan ayrıştırılması gibi. Stable Diffusion'a gelince, orada da diffüzörler resim üretiminin kalbinde yer alıyor. Sen komut veriyorsun, model de diffüzörleri kullanarak gürültüyü resme çeviriyor. Yakında kendi diffüzörümü eğitip deneyeceğim, aynen senin gibi ben de merak ediyordum zaten. Olayı bir kere anlayınca aslında ne kadar basit ve akıllıca bir sistem olduğunu görüyorsun!