Custom AI assistant yerelde mi bulutta mı çalışmalı?

30 Haz 04:36

Ben yerel çözümlerden yana olanlardandım. Geçen sene evdeki ufak Raspberry Pi'ma bir AI asistanı kurmuştum, ilk denenemde sesli komutlarımı bulut üzerinden işleyen bir model kullanmıştım. Sonuçta komutlarim düzgün çalışıyordu ama sürekli internete bağımlı olunca hem gizlilik konusunda hem de ağın düşme riskinden dolayı canım sıkıldı. Bir de bu arada latency yüzünden komutlarım bazen gecikmeli anlaşılıyordu. Sonra yerel bir model (Riva NLP ile birlikte çalışan bir şey) kurdum ve performans konusunda büyük bir iyileşme oldu. Artık offline da çalışıyor, verilerim evde kalıyor ve komutlar anında yanıt veriyor. Tabii yerel kurulumda modelin sınırlamaları var, mesela dil desteği daha azken performansın tutarlı olması avantaj oluyor. Genelde evdeki kullanım için yerel tercih ediyorum, hem gizlilik hem de bağımsızlık açısından daha rahat hissediyorum.