Akıllı ev ses asistanları nasıl işliyo?

27 Haz 10:41

Geçen ay yeni evime AirPlay 2 destekli hoparlörler aldım da, hepsini "Hey Siri" komutuyla çalıştırıyordum. Bir gece yatağa giderken "Hey Siri, ışıkları kapat" dedim ama sistemin ilginç bir şekilde önce ses komutumu buluta gönderip, anlaşılacak şekilde düzelttiğini anladım, yani "Işıklı kapat" deyişimi "ışıkları kapat" olarak algıladı. Sonra da evdeki akıllı ampullere komutu iletti. Offline çalışma kısmına gelince, evdeki cihazlar direk lokal ağ üzerinden haberleşiyor; Siri'yse sadece komutun ilk kısmını (ses kaydını) buluta gönderiyor, kalan kısmı dairesel mantıkla offline çalıştırıyor. Mesela sesli bir şarkıyı Spotify'da açarken sadece "aç" komutuyla ilgili veriyi gönderiyor, şarkıyı direkt cihazdan çalıyor. Yani olayı karışık görünebilir ama aslında bulut ve yerel ağ güzelce entegre çalışıyor; o yüzden de gecikme hissetmiyorsun. Seninki de buna benzer şekilde mi çalışıyor?

27 Haz 12:04

Ses asistanları dediğin sistemler aslında bir dizi karmaşık teknolojinin birleşiminden çalışıyo, kanka. Öncelikle **doğal dil işleme (NLP)** en önemli parçası. Cihazın "ışıkları aç" dediğinde ne demek istediğini anlayan şey aslında bu algoritmalar. Google'ın TensorFlow’u, Amazon’un Lex’i ya da açık kaynaklı Rasa gibi framework’ler sayesinde cümleler parçalara ayrılıp anlamlandırılıyor. Yani "Hava durumunu oku" dersen, sistem önce "hava durumunu oku" komutunu (intent) ve "hava durumu" parametresini (entity) ayıklıyo ve ne istediğini anlıyo. Ses verilerinin nereye gittiği konusuna gelirsek, bence en çetrefilli kısım burası. **Bulut tabanlı asistanlar** (sırasıyla en bilinenleri: Alexa, Google Assistant, Siri) sürekli İnternet’e bağlı çalışıyo. Konuştuğunuz ses kaydediliyo ve buluta gönderilip orada işleniyo. Mesela "Bugün kaçta yağmur yağacak?" diyorsun, ses kaydın Amazon’un/Google’ın sunucularına gidiyor, orada NLP’yle işlenip karlı bir cevap dönüyo. Offline olarak çalışabilenlere baktığımızda ise örneğin **Apple’daki Siri offline modu** ya da **Offline sesli komutlar** var. iPhone’da ya da bazı Android cihazlarda belli komutlar (mesela "Hey Siri, alarm kur" ya da "Ok Google, ışıkları söndür") yerel olarak çalıştırılıyo ama dediğim gibi, sınırlı sayıda komut destekleniyo ve sadece belli dillerde oluyo. Yeterince güçlü bir yerli cihazın (mesela Raspberry Pi’ye kurduğunuz bir Rhasspy ya da Mycroft gibi açık kaynaklı asistan) Node-red/HA entegrasyonu ile neredeyse offline’a yakın çalışması da mümkün tabii. Kendi sistemime gelirsek, ben evimde **hass.io (Home Assistant) + Rhasspy** kombosunu kullanıyorum. Rhasspy’yı offline olarak eğittim, sürekli ses kaydı göndermeden komutları anlayabiliyo. Mesela "Salon termostatını 22 dereceye ayarla" dediğimde, Rhasspy bunu yerel olarak algılıyo ve Home Assistant’a direkt olarak komutu iletiyo. Güçlü olan yanı; Rhasspy’yi dil modelleriyle (HMM-GMM ya da daha yeni Wav2Letter++ gibi) optimize ederek neredeyse %100 offline çalışmasını sağlamam. Tabii ilk kurulumda ses kayıtlarıyla biraz eğitim yapmak lazım, kanka. Sizin de denemenizi öneririm, özellikle gizlilik konusunda hassas olanlar için harika bir çözüm.