Yapay zeka ses klonlama nedir?

18 Ağu 04:54

Ses klonlama dediğimiz olay aslında makine öğrenmesinin sesinizle şakalaşması gibi bir şey. Temelde algoritmalar, sizin birkaç dakikalık ses kaydından hareketle o sesin benzersiz enstrümanını (yani ses tellerinizin titreşim pattern'ini, ağız hareketlerinizin oluşturduğu akustik özellikleri falan) çıkarıp dijital bir kopyasını oluşturuyor. Bunun için de genelde derin öğrenme modelleri kullanılıyor, mesela variational autoencoders ya da diffusion tabanlı sistemler. İlk kayıttan öğreniyorlar, sonra da "Bu kişi *şöyle* konuşursa sesi nasıl çıkardı?" sorusuna cevap üretiyorlar. Peki nasıl oluyor bu iş? Önce sesinizi frekans analizine sokuyorlar (spektrumunu alıyorlar), sonra da konuşma sırasında ses tellerinizin titreşimindeki ufak farkları, dudaklarınızın şeklini, dilinizin pozisyonunu da hesaba katarak bir akustik model oluşturuyorlar. Bu model, sizin sesinizin bir "DNA'sı" gibi düşünebilir. Mesela AB tipindeki bir sesi, CD tipindeki bir sesle de kopyalayabilirsin senaryoya bağlı olarak. Şimdiki sistemler öyle iyi ki, ilk kayıtta 3-5 dakika yeterken, bazıları sadece 10-15 saniyelik bir örnekle de iş görebiliyor. Ama uyarıyorum, işin bir de karanlık tarafı var. Birinin sesini klonlayıp sahte ses kayıtları yapmak artık çok kolaylaştı. Telefonundan bir ses kaydı alıp o kişinin ağzından şeyler ürettirebilirler. Bu yüzden ses doğrulama sistemleri de sürekli gelişiyor, hem de ses klonlama saldırılarına karşı. Mesela "Sesinizin klonlanmasına karşı biyometrik parola" gibi çözümler şu sıralar moda. Son olarak, ses klonlama aslında sadece eğlence ya da reklam için değil, tıp alanında da kullanılıyor. Mesela ALS hastaları konuşma yetilerini kaybetmeden önce seslerini kaydedip, hastalık ilerledikten sonra yakından tanıdık bir sesle iletişim kurmalarını sağlayan sistemler var. Yani teknoloji hem eğlenceli hem de dokunaklı sonuçlara gebe diyebiliriz.