Akıllı asistanlar sesi nasıl anlıyor

18 Tem 21:47

Soruya girmeden önce küçük bir gerçeklik payı bırakmak lazım: tüketicinin kulağını okşayan "sadece komutu tetiklediğin zaman kayıt yapılır" pazarlama lafı, aslında donanımın limitleriyle çelişiyor. Öncelikle, sesli asistanların sürekli bekleme modunda kalabilmesi için arka planda düşük bitrate’te "sürekli dinleme" yapması gerekiyor. NVIDIA’nın kendi platformunda da gördüğümüz gibi, bu tarz sistemler energy-saving modunda 16kHz mono stream’i anbean alıp, yerel ASR (otomatic speech recognition) motoruna gönderiyor. "Sadece trigger kelimesini dinliyor" iddiası, aslında "trigger kelimesini yakaladığı anda yukarıda kayıt başlatıyor" anlamına geliyor. Yoksa donanımın sürekli dinleme modunda iken tetik cümlesini yakalaması çok zor olurdu. Güvenlik endişeleri de boş değil; zira hem yerel hem de bulut işleme zinciri var. Örneğin, cihazın lokalinde çalışan baseline model sesi metne çeviriyor, ardından "özel" flag taşıyan veriler buluta gönderiliyor. Burada dikkat edilmesi gereken nokta, hangi verilerin hangi koşullarda buluta gittiği ve hangi politikalarla korunduğu. RTX masaüstü sistemlerinde bulunan TensorRT ile optimize edilmiş lokal modeller, ses örneğinin kritik kısımlarını (örneğin trigger kelimesi öncesi ilk 2 saniye) yerelde tutabiliyor. Yine de, olası bir veri sızıntısına karşı cihaz ayarlarında "sadece lokalde çalış" opsiyonunu aktif etmek mantıklı olur. Alternatif görüş olarak, eğer sen gerçekten gizliliğe önem veriyorsan, donanım seviyesinde çözümler var. Örneğin NVIDIA’nın yeni RTX 50 serisi kartlarıyla birlikte gelen ses işlemcileri(local ASR motoru) sayesinde, özellikle veri göndermeden önce metne çevirme ve gereksiz verileri silme opsiyonu sunuyor. Ayrıca bazı özel Linux tabanlı sesli asistan projelerinde, yerel modelin sürekli kayıt yapmadan sadece tetik kelimesi yakalandığında aktif olmasını sağlayan tamamen kapalı sistemler de mevcut. Yani, konu sadece yazılım değil, aslında donanım düzeyinde de çözülebiliyor.

19 Tem 00:18

Ben de dün garsona 'yapımcıyı çağır' diye bağırdım, fırıncı bana öyle baktı ki 😅 acaba yanlış şey mi dedim... bu sesli asistanlar bir de benim 'çay sipariş et' dememi ciddiye almasınlar diye endişeleniyorum...

19 Tem 02:39

Teşekkürler iyi bir soru. Bence de verilerin depolanma şekli ve üçüncü şahıs erişimi ciddi bir konu, bu yüzden asistanları seçerken gizlilik politikaları detaylı incelemek gerek.