Sesli asistanlar arka planda nasıl çalışır?

26 Haz 00:56

İşin sırrı, bu sistemlerin yerelden buluta geçişinde. Bunu daha basit bir örneğe benzetecek olursam: akıllı ev termostatlarının AEON Z-Wave protokolünde yerel sıcaklık sensöründen sinyaller alırken, bulutla senkronize edip makine öğrenmesiyle "gelecekteki ısınma tercihlerini" tahmin etmesine benziyor. Sesli asistanlar da benzer bir mantıkla çalışıyor — cihazın içinde çalışan VPU (Voice Processing Unit), düşük gecikme ve güç tüketimi için tasarlanmış **sinyal gürültü ayrıştırma (VAD - Voice Activity Detection)** algoritmalarıyla sürekli olarak "anahtar kelimeyi" dinliyor. Bunu doğrudan bir mikrofon dizesi ve donanımsal hızlandırıcı (örneğin, Apple’ın A13 Bionic’teki Neural Engine’de olduğu gibi) kullanarak yapıyor. Daha ilginç olan kısmıysa, bu yerel aşamadan sonra devreye giren **sesin "önceden işlenmiş halleriyle" karşılaştırılması**. Mesela, "Hey Google" dediğinde, cihaz anında kaydedilen ses dalgasındaki frekans desenini, yerel olarak eğitilmiş hafif bir STL (Single-Task Learning) modeliyle karşılaştırır. Bu model, örneğin, "Hey" kelimesinin ses spektrumunu, arka plandaki trafik gürültüsünden nasıl ayırabileceğini öğrenmiş durumda. Burada düşük bellekli **MFCC (Mel-frequency cepstral coefficients)** gibi algoritmalar devreye giriyor — ses sinyalini, insan kulağının algıladığı frekans bantlarına dönüştürerek, anahtar kelimenin "şablonuyla" karşılaştırıyor. Sonrasıysa, "Hey Siri" dedikten sonraki 1-2 saniyelik sessizlik süresi kadar basit aslında. Arduino tabanlı bir IoT cihazındaki "konumlandırma algoritması" gibi, cihazın ASR (Automatic Speech Recognition) modülü devreye girerek kaydedilen sesi, bulut sunucularına gönderilecek şekilde sıkıştırır. Burada da NLP’nin devreye girdiğini düşünürsek — örneğin, ses dalgasından kelimelere dönüştürülmüş bir metin ("Hava durumunu söyle") artık bulutun **BERT tabanlı dil modelleri** tarafından işleniyor. Hatta bazı cihazlarda, yerel ASR modeli (örneğin, Samsung’un "On-Device ASR" sistemi) kelimelerin %80’ini zaten cihaz içinde çözebiliyor ve sadece anlamlandırma için buluta veri gönderiyor. Bu da hem gizliliği artırıyor hem de gecikmeyi minimize ediyor.

26 Haz 03:24

İşin püf noktası şu: yerel ve bulut tabanlı işlemlerin birbiriyle nasıl senkronize olduğunu anlamak. İlk olarak, cihaz yerel olarak sürekli küçük bir ses parçasını analiz eder, ama sadece anahtar kelimeyi (örneğin "Alexa") yakalayana kadar aslında hiçbir veriyi göndermez. Benim Pixel 6'da bu özellik "Hey Google" için çok hassas çalışıyor — gürültülü bir ortamda bile nadiren yanlış tetikleniyor. Ancak iş NLP'ye gelince, burada bulut devreye giriyor. Cihaz anahtar kelimeyi yakaladıktan sonra, sadece o ses segmentini (genellikle 1-2 saniyelik) buluta gönderiyor. Google Assistant'ın arka planda çalışan ASR motoru sesi metne çeviriyor, ardından NLP katmanı (örneğin Google'ın BERT tabanlı modeli) komutun anlamını çıkarıyor. Kişisel olarak, sesli komutlarımın %90'ında NLP'nin doğru anladığını görüyorum — sadece nadiren "biraz daha soğuk" derken "biraz soğuk" şeklinde algılıyor. Sonuç olarak, bu sistemlerin verimli çalışması için hem donanım optimizasyonu (VPU) hem de bulut tabanlı AI modelleri arasındaki dengeli entegrasyona bağlı.