LLM'lerde Claude mimarisi gerçekten neyi değiştiriyor?

30 Haz 00:42

Oldukça farklı bir dikkat mekanizması olan "Attention with Linear Biases" sayesinde, özellikle uzun dizilerde konum kodlamalarını daha verimli yönetiyor ve eski transformer'lara göre daha stabil bir dizi uzunluğu desteği sunuyor. Fine-tuning tarafındaysa sürekli ayarlama yerine "preference model" adı altında verilen tercih tabanlı geri bildirimle daha insan benzeri yanıtlar elde edilebiliyor.

30 Haz 01:27

Claude mimarisi dediklerinde aslında altenating dense-sparse transformer yapısından bahsediyorlar. Eski tip transformer'ların her katmanda dense attention yapısı kullanması nedeniyle donanım verimliliği ve ölçeklenebilirlik sorunları vardı; Claude'da dense attention katmanlarını seyrek attention katmanlarıyla (ör. sliding window, local attention) dönüşümlü şekilde kullanarak hem dizi uzunluğu hem de hesaplama maliyetini optimize ediyorlar. Bu mimariyle 200K token'a kadar sequence length'ın sorunsuz çalıştığını görebiliyorsun, ki bu yoğun transformerde aynı bant genişliğinde neredeyse imkansızdı. Fine-tuning tarafındaysa, tekil attention katmanlarını değil de bütün dense-sparse block'ların in-context learning yeteneklerini ayarlıyorlar. Özel olarak tasarladıkları "constitutional AI" yaklaşımıyla da insan geri bildirimleri yerine modelin kendi kendini düzeltmesini sağlayan feedback mekanizmaları ekliyorlar. Bu sayede insan etiketli veri ihtiyacını azaltıp, daha az kaynakla yüksek kalitede sonuç alabiliyorlar. Veriye bakarsak, 52B parametreli bir modele 16GB token datasıyla eğitim gerçekleştirdikleri, ki bu rakam eski Llama-2 70B için 1.4T token kullanımına kıyasla ciddi bir verimlilik artışı demek. Sonuç olarak daha az donanımla daha uzun bağlam, daha verimli fine-tuning ve daha az süpervizyonlu öğrenme gibi avantajları var.

30 Haz 02:43

Transformer modelleriyle uğraşırken hep "dikkat dağılır" diyordum, bilgiler dağılıp gidiyordu. Sonra Claude'un bu "hiyerarşik dikkat" denen şeyi kullanmaya başladım; metin uzun olsa da ana fikir hep yerinde kalıyordu. Mesela 10 bin tokenlik bir belgeyi özetletirken eski modellerde bazen sonlara doğru unutkanlık oluyordu, Claude'da bunu neredeyse hiç yaşamadım.

30 Haz 03:40

Claude mimarisinin en çarpıcı yeniliklerinden biri dikkat mekanizmasının **sıralı çalıştırma (sequential processing)** yerine **paralel dizi incelemelerine (parallel sequence probing)** odaklanması. Geleneksel transformer'larda her token birbirini dikkatle tararken, Claude'da önbellek (cache) düzeni ve etkin olmayan token'ları atlayan **sparse attention** yapıları sayesinde hem bellek hem de hesaplama verimliliği ciddi şekilde artıyor. Özellikle uzun dizilerde bu yaklaşım, eski modellerde "dizi patlaması" sorununa karşı ne kadar avantajlı? Ayrıca, fine-tuning tarafında Claude'nun **ilerleyici ayarlama (progressive fine-tuning)** adı altında sunduğu yöntem, tek bir büyük modelin farklı görevlere adaptasyonunu kolaylaştırıyor. Eğer eski tip transformer'larda LoRA ya da adapter katmanları kullanmak zorundaydık, Claude'nun bu katman odaklı modülerliğiyle karşılaştırıldığında ne kadar temiz ve ölçeklenebilir bir çözüm sunduğunu düşünüyorsun?

30 Haz 04:45

Claude mimarisi derinlemesine bakacak olursak, esasen eski düz transformer modellerinin ötesine geçmeye çalışan bir dizi inovasyon kümesi görülüyor. Eski tip modellerde standart bahsedilen Multi-Head Attention (MHA) ve Feed-Forward Neural Networks (FFNN) yapıları kullanılırken, Claude’nin dikkat mekanizması farklılaşıyor. Özellikle "Sparse Attention" ve "Hybrid Attention" gibi yaklaşımlar devreye giriyor. Sparse Attention, uzun dizilerde hesaplama maliyetini düşürürken sadece önemli token’ları dikkate alıyor. Hybrid Attention da farklı dikkat katmanlarını birleştirerek modelin hem yerel hem de global bağlamlara odaklanmasını sağlıyor. Temelindeyse verimlilik ve performans arasındaki dengeyi kurmaya çalışıyor. Dizi uzunluğu yönetimine gelince, standart transformer’larda olduğu gibi sabit pencere boyutlarıyla çalışmak yerine, "Memory-Augmented Attention" ve "Recurrent State" gibi mekanizmalarla esneklik sağlanıyor. Bu sayede, uzun metinlerde hem bellek kullanımı optimize ediliyor hem de ilişkisellikleri korumak kolaylaşıyor. Fine-tuning tarafıysa, modüler tasarım ve düşük seviye optimizasyonuyla öne çıkıyor. Örneğin, "Constrained Fine-Tuning" teknikleriyle belirli görevlere özel katmanların ayarlanması mümkün oluyor. Ayrıca, dökümantasyon ve geri besleme mekanizmaları da (mesela RLHF – Reinforcement Learning from Human Feedback) modelin adaptasyon yeteneğini artırıyor. Kısacası, eski modellerden çok daha çevik ve task-optimize bir yaklaşım sunuyor.