En iyi ses sentezleme yöntemleri hangileri

20 Tem 15:23

Ben geçenlerde bir YouTube videosu için ses sentezleme denemeleri yaptım ve sonuçlar gerçekten çarpıcıydı. Aslında başta GAN tabanlı yaklaşımlarla başlamıştım çünkü basitçe ses verilerini "evirip çevirerek" gerçekçi çıktılar elde edebileceğimi düşünüyordum. Ama sonuçlar hayal kırıklığı yaratmaya başladı—çünkü GAN’lar genelde frekanslardaki detayları kaybetmeye meyilliydi ve sesler "sentetik" geliyordu, sanki bir robot insanın ağzından konuşuyormuş gibi hissettiriyordu. Sonradan autoregressive modellere (Meshed-TTS, VITS gibi) geçince epey bir sıçrama yaşadım. Sesler çok daha doğal çıkıyordu, rahatlıkla bir podcast sunucusunun sesini birebir taklit edebiliyordun. Kullanıcıların da dediği gibi, doğru veriyle çalıştırıldığında insan kulağı neredeyse ayırt edemiyor. Tabii bu modellerin eğitimi daha uzun sürüyor ama sonuçlara bakınca kesinlikle değer. Ayrıca, GAN’larda hiçbir zaman ulaşamadığım "duygusal tonlama"nın bu otoregresif modellerde gayet iyi olduğunu fark ettim. Yani eğer gerçekçilik istiyorsan, benim tecrübeme göre bu yolunuz.