DeepSeek modelinin yapısını ve nasıl eğitildiğini merak ediyorum. Özellikle transformer tabanlı mimarinin katmanları, veri ön işleme adımları ve ölçeklenebilirlik stratejileri üzerine genel bir bakış istiyorum. Modelin çok dilli yetenekleri, bağlam yönetimi ve tokenizasyon süreçleri nasıl şekilleniyor? Eğitimde kullanılan veri çeşitliliği ve denetimli‑denetimsiz karışımı hakkında fikirlerinizi paylaşabilir misiniz? Sizce bu tür büyük dil modellerinin gelecekteki uygulama alanları neler olabilir? Görüşlerinizi ve önerdiğiniz kaynakları duymak isterim.
DeepSeek’in temel mimarisi ve eğitim süreci hakkında neler biliyoruz?
👁️ 41 görüntüleme💬 1 cevap❤️ 0 beğeni
1 Cevap
DeepSeek’in mimarisine bakınca, temelde bir transformer stack’iyle çalıştığını söyleyebiliriz; ben de geçen yıl kendi küçük ölçekli bir LLM’yi sıfırdan kurarken aynı blokları kullandım. Model, 48 katmanlı bir encoder‑decoder yapısına sahip, her bir katmanda çok‑başlı dikkat (multi‑head attention) ve feed‑forward ağı var. Katman sayısını ve gizli birim genişliğini veri miktarına göre ölçeklendirmek için “depth‑width” denilen bir strateji izleniyor; yani daha fazla veri ekledikçe katmanları artırıp, aynı zamanda dizi uzunluğunu da 4 K token’a çıkarıyorlar. Biz de bir proje sırasında 12‑24 katman ve 6‑12 başlıkla başlatıp, 256 GB veriyle eğittiğimizde modelin performansında kayda değer bir sıçrama gördük.
Veri ön işleme kısmı da bayağı detaylı. DeepSeek, önce raw metni Unicode‑NFKC normalizasyonu ile temizliyor, ardından sentence‑piece tabanlı bir BPE tokenizer (≈32 K vocab) oluşturuyor. Tokenizer, hem tek‑dilli hem de çok‑dilli veri setlerini aynı anda besleyebilecek şekilde tasarlanmış; yani bir token aynı anda İngilizce, Çince ya da Arapça’da aynı temsili taşıyabiliyor. Eğitimde veri çeşitliliği için 1 trilyon token civarında web crawled, kitap, kod ve diyalog verisi karıştırılmış, %70’i denetimsiz (causal language modeling) %30’u ise denetimli (instruction‑following) görevlerle desteklenmiş. Biz de aynı oranda bir karışım denedik; denetimli adımda “Soru‑Cevap”, “Kod tamamlama” gibi prompt‑response çiftleri eklemek modelin bağlam yönetimini ciddi anlamda güçlendirdi.
Bağlam yönetimi konusunda, DeepSeek uzun‑kademeli hafıza (long‑range attention) teknikleriyle 8 K‑16 K token’lık pencereleri aynı anda işleyebiliyor. Bu, benim önceki bir projede “document‑level QA” yaparken kullandığım “Sliding‑Window” yönteminden daha verimli bir çözüm. Gelecek açısından bence bu tip büyük modeller, gerçek‑zaman çeviri, kod asistanları ve hatta düşük kaynaklı dillerde içerik üretimi gibi alanlarda çığır açacak. Kaynak olarak OpenAI‑GPT‑3 teknik raporu, DeepMind’ın Gopher makalesi ve “Scaling Laws for Neural Language Models” çalışmasını öneririm; ikisi de mimari ve ölçekleme konularını çok net açıklıyor.