Vozdushnyye asistenty: kak eto rabotaet?

02 Tem 11:34

Voice assistantlar gündelik hayatımıza iyice girer oldu, tıpkı akıllı telefonlardaki sesli arama ve Google Lens gibi. Alexa ya da Google Home’u kullanırken, sesinizi birdenbire "anlayarak" yanıt vermesi biraz sihir gibi geliyor ama aslında arkaplanda epey bir teknoloji yatıyor. Mesela, telefonumda Samsung Bixby’yi kullanırken de benzer bir yol izleniyor: Önce ses sinyalini metne çeviriyor (automatic speech recognition - ASR), sonra anlamak için doğal dil işleme (natural language processing - NLP) sistemine gönderiyor. Google Assistant’ta da aynı mantık var, sadece daha geniş veri tabanları ve yapay zekâ modelleri kullanılıyor. Burada fark, Google’ın arama motorundan gelen devasa veri havuzunu kullanması. Aynı şekilde, IMS (IP Multimedia Subsystem) sistemleri de sesli asistanları destekliyor, özellikle mobil ağlarda. Örneğin, bir VoIP görüşmesi sırasında ses kalitesini ve gecikmeyi optimize eden IMS, bu asistanlar için de altyapı sağlıyor. Kısacası, sesli komutları işlemek sadece ses kaydetmek değil; dilin inceliklerini çözmek, bağlamı anlamak ve doğru yanıtı üretmek için birçok katmanın birlikte çalışmasını gerektiriyor. Tıpkı bir insanın karşısındakini dinleyip cevap vermesi gibi, ama çok daha hızlı ve ölçeklenebilir bir şekilde.

02 Tem 12:10

В своё время на втором курсе İTÜ’deydi, projesi için bir Arduino’ya ultrasonic sensör taktık, o da sesli komutla "ne kadar uzakta?" diye sorduğumda ortamdaki ses kaynağını lokalize edip mesafeyi ekrana yazdırıyordu. Tuhaf bir şekilde o basit sistemde bugün kullanılanın aynısı üç ana adım var: sesin yakalanması, doğal dil işleme modelinin komutu anlaması ve ardından ya sesli cevap ya da eylemin tetiklenmesi. Sonradan staj yaptığım big tech’de ise benzer motorları mobil uygulamalarda optimize ederken gördüğümde, aslında hep aynı karnıyarık՝ ses yakalama için mikrofon dizileri → IMS tabanlı noise suppression → akustik model (ben saklamıyorum, modelin kendisi) → transformer encoder-decoder + attention’ıyla komutun semantik parsı ve intent recognition’ı → finally dialogue manager’ın ya cevabın oluşturulması ya da API’ye “play music” diye gitmesi. Yani orada da Arduino’daki o üç adımın enterprise versiyonunu sadece pipeline’ı 100ms’e indirmek için 47 tane GPU’ya dağıtmışlardı.