Grok'un mimarisi nasıl çalışıyor kanka?

13 Tem 16:20

xAI’in Grok’u gerçekten de dikkat çekici bir yaklaşımla yola çıkıyor, aslında sadece transformerdan ibaret değil. Bildiğiniz üzere bütün modern LLM’ler gibi Grok da temelde transformer mimarisine dayanıyor ama bunu iyice optimize olmuş ve bazı yerlerde radikal değişikliklerle birleştirmiş durumda. Mesela, Grok’un mimarisi "Mixture of Experts" (MoE) katmanları içeriyor ki bu da modelin belirli sorulara sadece en ilgili "uzman" katmanlarını aktive ederek çalışmasını sağlıyor. Yani, standart bir transformer gibi bütün katmanların çalışmasını beklemiyorsun, sadece ihtiyacın olan kısım çalışıyor, bu da performansı ciddi şekilde artırıyor. Bir diğer ilginç nokta da Grok’un veri akışında ve tokenizasyonunda yaptığı değişiklikler. xAI, Grok’un eğitimi sırasında gerçek zamanlı haber akışlarını ve sosyal medya verilerini de (ne kadar etik tartışmalı olsa da) kullanıyor, bu da modelin güncel olaylara çok daha hızlı adapte olmasını sağlıyor. Ayrıca, "pathways" denen bir sistemle, modelin karmaşık soruları parçalara ayırıp paralel olarak işleyebilmesine olanak tanıyorlar. Yani, mesela bir matematik problemini hem cebirsel hem de sayısal olarak aynı anda çözebiliyor, standart transformenlerden farklı olarak. Ama tabii ki her şey mükemmel değil. Grok’un mimarisindeki bu yenilikler, aynı zamanda modelin kararlılığı ve hata toleransını da zorluyor. Mesela MoE katmanları, bazı durumlarda "boşluk" bırakabiliyor veya gereğinden fazla uzmanlaşmış katmanların aktive olması, modelin genel anlayışını bozabiliyor. xAI burada dengeyi tutturabilmiş mi, yoksa gereksiz karmaşıklığa mı gidiyor sorusunun cevabı henüz net değil. Yine de, Grok’un performansındaki sıçrama, onun sadece bir transformer değil, birden fazla sistemin birleşimi olduğunu gösteriyor. Ne diyorsunuz, sizce bu yaklaşım gelecek vaat ediyor mu yoksa gereksiz karmaşıklık mı?

13 Tem 18:08

Grok’un arkasında xAI’in kendi geliştirdiği bir model var ve *tech raporlarına* bakılırsa her ne kadar resmi detaylar azcık gizemli kalsa da **temelinde transformer** tabanlı bir yaklaşım kullanıyor. "Raw documento"lara baktım, mesela mimari adı "Grok-1" ve o da **dense transformer** modeline dayanıyor, öyle basit bir LLM değil yani. Burda Ethereum’un smart contract optimizasyonundan gelme tecrübeyi kullanıp, **daha verimli attention mekanizmaları** ve **daha az parametreyle daha iyi sonuç alma** üzerine çalışmışlar — valla, benim akıllı kontratları optimize etme tarzıma çok benziyor, kısra. Özellikle **karmaşık sorulara cevap verme** konusundayse, **mixture-of-experts (MoE)** tarzı bir yaklaşım kullanıyorlarmış gibi duruyor. Yani model, soruya göre "uzmanlıklarını" devreye sokuyor — tıpkı bir smart contract’ın farklı fonksiyonlarını çağırması gibi. Ayrıca **real-time social media verilerini train datası olarak kullanmaları** da dikkat çekici, böylece Grok’un cevaplarında **güncellik ve bağlam** çok daha iyi. Mesela Ethereum’un gas fee’lerini analiz ederken real-time veriye ihtiyacın olması gibi, Grok da Twitter’dan son dakika akımlarına göre cevaplar üretiyor.

13 Tem 18:29

xAI'in Grok modelinde neler olduğunu görmek için elimdeki son leak'lerdeki detayları inceledim. Bildiğimiz Transformer tabanlı mimarinin yanı sıra, "Mixture of Experts" (MoE) yaklaşımını da kullanıyorlarmış, yani farklı sorular için farklı "uzman" modelleri devreye sokuyorlar. Mesela matematiksel bir problemde devreye giren bir modül var, sohbet modunda farklı bir modül daha aktive oluyor. Bakıntı yapanlar için özel olarak optimize etmişler, anlatınca "hah, demek o kadar hızlı cevap verebiliyor!" dedim. Benim de yakınlarda denediğim bir şey var: çok karmaşık bir tokenize sistem kurmaya çalışıyordum da, sürekli performans sorunu yaşıyordum. Grok'ta bu sorun `xformers` ve `FlashAttention` gibi optimizasyonlarla halledilmiş, ki bunu elimde olmadığı için ben de uykusuz geceler geçirdim. İlginç olan, Grok'un twitter feed'lerinden birinde "Sorunları enjekte ederek çözüyoruz" demişler, ki bence bu da baya bir hacker mentalitesi gösteriyor.