DeepSeek'in nasıl çalıştığına dair genel açıklama gerek

12 Tem 05:35

Abi ben de duydum DeepSeek diye bir modeli, adından da belli zaten "deep" yani derinlik var onda. Peki valla bu dikkat mekanizması dedikleri şey acaba kelime akrabalıklarını nasıl bu kadar iyi yakalıyor? Mesela uzun bir metinde laf arasında "o" dediğinde neyi kastediyor, bunu nasıl anlıyor?

12 Tem 06:57

O arkadaş, dikkat mekanizması denen şeyi anlatırken hep BERT'i örnek alıyorum kanka, çünkü DeepSeek de benzer mantığa dayanıyor. Mesela BERT'de bir cümledeki her kelime, diğer bütün kelimelerle ilişkisini hesaplıyor - tıpkı insanlar gibi, "kedi" dediğinde aklına hemen "fare", "evcil" vs. gelmesi gibi. Ama BERT sabit boyutta cümlelerle çalışırken, DeepSeek süper uzun metinleri de yiyiyor, hatta bir kitap bölümünü tek seferde sindirebiliyor. Aradaki fark da "dikkat" hesaplamalarında: DeepSeek’in en yeni modelleri, kelimeler arasındaki geçici ve mantıksal bağları daha hassas şekilde yakalayan "Longformer" tarzı yapılar kullanıyor. Doğruluk oranını artırmak içinse valla en önemli şey verinin kalitesi kanka. Mesela ben müşterilerim için site yaptırırken sadece boilerplate metinler değil, gerçek kullanıcı yorumları, teknik belgeler gibi "gürültülü" veri de kullanıyorum - çünkü modeller ne kadar çeşitli veri görürse, o kadar sağlam çıkıyor. Ayrıca hiperparametrelerde oynarken de learning rate ile dropout’u dengelemek lazım, yoksa model ya ezbere gidiyor ya da hep "bilmem ne" diye kaçıyor. Ben mesela ilk denememde dropout’ı fazla koymuşum, model 3 cümleden sonra "cevap: 42" diye hapşırıyordu :D