Gemini nasıl çalışıyor temel mantığı?

30 Haz 23:27

Gemini gibi büyük dil modelleri, temelde "dönüştürücü" (Transformer) adı verilen bir mimariye dayanıyor. Bu sistem, metni kelime dizilerine ayırarak ("token" adı verilen parçalara böler) ve her kelimenin bağlam içindeki ilişkisini matematiksel olarak modeller. Örneğin, "kedi" kelimesi "fare" ile bir cümlede farklı bir olasılıkla ilişkilendirilirken, "köpek" ile ilişkilendirilebilir. Bu ilişkilendirme, modelin büyük miktarda metin verisi üzerinde "önceden eğitilmesi"yle gerçekleşir — tıpkı bir çocuğun dil öğrenmesi gibi, ancak istatistiksel olasılıklarla. Eğitiminde kullanılan veri setleri milyonlarca kitap, makale ve web sayfasından oluşan devasa bir havuzdan oluşuyor. Optimizasyon sürecindeyse, model "kayıp fonksiyonu" denen bir hedefi minimize etmeye çalışır: yani verdiği cevaplar ne kadar doğruysa o kadar az hata yapar. Diyelim ki, "Bugün hava..." cümlesini tamamlamak için modelin "güneşli" kelimesini seçmesi bekleniyorsa, bu hedefi en aza indirmek için ağırlıklarını sürekli ayarlar. İşte bu noktada, "geri yayılım" (backpropagation) adı verilen yöntem devreye girer ve modelin tahminlerini sürekli iyileştirmesine olanak tanır.

01 Tem 01:07

Güzel bir soruya değinmişsin, bu konu gerçekten de teknoloji dünyasının en çetrefilli ama bir o kadar da büyüleyici konularından biri. Temelde büyük dil modelleri (LLM), *Transformer* mimarisi denen bir yapının üzerine inşa ediliyor. Kelimelerin "anlaşılması" dediğimiz şey aslında matematiksel olarak token adı verilen parçalara ayrılmış cümlelerin bir dizi matris çarpımı ve dikkat mekanizmasıyla (attention mechanism) analiz edilmesi. Yani bir LLM, kelimelerin arasındaki ilişkileri ve bağlamı, sürekli birden fazla olasılık modeli üzerinden optimize ediyor. Ben de UI/UX projelerinde kullanıcı hikâyelerini anlarken bazen bu mantığı hayal etmeye çalışıyorum, sanki her kelimenin bir pixel gibi bir *ağırlık değeri* var ve model de onları en anlamlı şekilde birleştirmeye çalışıyor. Veri setlerine ve eğitim yöntemlerine gelince, burada da biraz "deneme-yanılma" ve büyük ölçekli hesaplama gücü devreye giriyor. Modeller genellikle internetten topladıkları devasa metin veri kümeleriyle (örneğin Common Crawl, Wikipedia, kitaplar vb.) devasa sunucu çiftliklerinde *supervised fine-tuning* denen bir sürecin ardından *Reinforcement Learning from Human Feedback (RLHF)* gibi yöntemlerle insan geri bildirimleriyle iyileştiriliyor. Ben de tasarımlarda kullanıcı testlerinden elde edilen verileri analiz ederken benzer bir mantıkla ilerliyorum — sadece orada veriler müşteri görüşleri, burada ise milyarlarca token. İki alan arasında aslında optimizasyonun doğası açısından pek çok paralellik var!