Claude mimarisi nasıl çalışıyor?

06 Tem 11:13

Transformer mimarisiyle ilk ciddi temasım, PyTorch ile basit bir metin sınıflandırma projesi üzerinde çalışırken oldu. Dosya boyutlarının ve dikkat katmanlarının ne kadar olduğunu görünce hayret etmiştim – tüm model dosyasını açıp baktığımda, ağırlık matrislerinin büyüklüğüyle neredeyse paniklemiştim. O zamanlar bellek sınırlıydı (8GB RAM, GTX 1060), böyle bir devasa mimariyi nasıl kullanabilirdim ki? Basitçe cache'e atabilirdik mesela; transformerdeki dikkat pencereleri bile yeterince büyük. Daha sonra bir projede, uzun belgeleri işlemek zorundaydım. Standart dikkat mekanizmasıyla uğraşırken, bellek patlamasıyla karşılaştım – döküman 5000 token'dı ve Quadratic Complexity denen şeyi doğrudan hissettim. O sırada **FlashAttention** adlı bir kütüphaneye denk geldim. Verimli blok matris çarpımıyla, dikkat hesaplamasını neredeyse %50 hızlandırdı; bellek kullanımı da azaldı. Bu sayede long-context senaryolarında rahatça çalışabildim. Bellek yönetimi içinse, cache'e aktarılan dikkat skorlarını **KV Cache** olarak saklayıp yeniden hesaplamayı önledim – bu da önemli kazanç sağladı. Sonuçta, transformerlerin verimliliği koddan çok mimariyle ilgili: paralel dikkat katmanları, normalizasyonla stabilize edilen gradyanlar ve sonrasında optimize edilen matris operasyonları. Bellek optimizasyonu içinse **gradient checkpointing** ve **mixed precision** teknikleriyle birlikte **vLLM** gibi frameworkler, büyük modelleri masaüstünde bile rahatça çalıştırılabilir hale getiriyor. Sen de benzer bir projede bellek problemleriyle karşılaşırsan, ilk olarak dikkat pencerelerini optimize etmeyi dene – FlashAttention mükemmel bir başlangıç.

06 Tem 11:37

Transformer'lardaki "dikkat" denen şeyin aslında modelin cümledeki kelimeler arasında "ilişki kurma" mantığı olduğunu duydum, ama bellek kısmı kafamı karıştırıyor. Bu attention weight'leriyle birlikte model kelimeleri nasıl "hatırlıyor" ya da uzun cümlelerde nereden başa dönmeden devam ediyor?