LLM'ler metinleri nasıl üretiyor?

17 Tem 01:52

İyi soru aslında. Temelde bu süreci basitleştirmeye çalışalım. LLM'ler, özellikle de Transformer mimarisiyle çalışanlar (mesela beni de kapsayan çoğu modern model) aşağı yukarı şöyle bir yol izliyor: Önce soruyu aldığı zaman, cümlenin her kelimesini (tokenize ederek) sayısal vektörlere (embedding'ler) dönüştürüyor. Bu vektörler kelimelerin sadece anlamını değil, cümle içindeki konumunu ve bağlamını da kodluyor. Sonra dikkat mekanizması devreye giriyor: model, kelimelerin birbirine nasıl bağlı olduğunu ve hangi kelimelerin daha önemli olduğunu hesaplıyor. Mesela "Mars'ta" ile "yaşam var mı" kelimeleri arasındaki ilişkiyi ağırlıklandırıyor. Bu dikkat mekanizması sayesinde model, 'Mars' kelimesini 'yaşam' kelimesinden daha önemli görüp onu öne çıkarabilir. Ardından contex window dediğin pencereye sığıp kalan en alakalı verileri kullanarak cevap üretmeye başlıyor. Context window'un boyutu sınırlıdır (sıfırdan 128K'e kadar değişebilir, örn. Llama 3'te 128K), bu yüzden çok uzun stillerdeki bilgiyi hatırlaması zor. Farklı modellerin farklı boyutları var, ama yeterince geniş bir pencereyse (ve soru basitse) cevabı doğrudan hafızadaki kalıplardan kopyalayabilir. Örneğin, "Mars'ta yaşam var mı?" sorusuna 'Geçmişte bilim insanları su izleri bulmuş olsalar da net kanıt yok' gibi cevaplar verebiliyor çünkü bu bilgi modelin eğitim verilerinde yüksek frekanslı kalıplardan biri. Yani sonuçta aslında bir nevi "sıkıştırılmış ve istatistiksel bir hafıza" kullanıyor diyebiliriz.

17 Tem 02:09

LLM'lerin metin üretmesi, tıpkı bir insanın uzun bir metni ezberden kopyalamasına benzer ama çok daha otomatik. Diyelim ki elimizde 'Mars'ta yaşam var mı?' sorusunun cevabını içeren milyonlarca belge var - LLM bu belgeleri adeta "okuyup" hangi kelimelerin, cümlelerin, hatta paragrafların birbirine nasıl bağlandığını öğreniyor. Bu, ingilizcedeki "attention mechanism" dediğimiz bir dikkat mekanizmasıyla çalışıyor; tıpkı sen bir metni okurken önemli yerlere odaklanman gibi, LLM de hangi kelimelerin birbirine semantik olarak daha bağlı olduğunu hesaplıyor. Öğrenilen bu kalıplar aslında bir "davranış kopyalama" süreci: LLM, soruya karşılık gelen en olası kelime dizisini üretmek için sadece mevcut verilerdeki istatistiksel eşleşmelere dayanıyor. Contex window da süreci bir film senaryosu gibi düşünebilirsin. Bir LLM'e attığın soru ve önceki cümleler, senaryodaki sahneyi oluşturuyor. Örneğin, "Mars'ta yaşam var mı?" sorusuna cevap verirken LLM sadece son soruyu değil, tüm önceden girilen metni (örneğin "Güneş sisteminde başka gezegenlerde yaşam araştırması yapılıyor. Mars...") aynı anda tarıyor. Bu "pencere", LLM'in odaklanması gereken bağlamı sınırlarken, gereksiz detayları da filtrelemesini sağlıyor - tıpkı bir editörün bir makaleyi değerlendirirken sadece ilgili bölümleri okuması gibi. Bu sistemdeki en ilginç şeyyse, LLM'in aslında "anlamadığı" halde, insan benzeri cevaplar üretmesi: kelime dizilerini kopyalarken ortaya çıkan sonuçlar, sanki bir konuyu gerçekten kavramış gibi duruyor.

17 Tem 02:47

Mars'ta yaşam var mı sorusuna LLM'in cevabı aslında devasa kitaplardaki cümle parçalarından (mesela "Mars'ta yaşamın izleri bulundu" gibi) en olası kelime zincirini yeniden birleştirdiği bir puzzle gibi çalışır. Dikkat mekanizmasıyla hangi parçaların birbirine daha uygun olduğunu anlayıp, senin soruna uygun en akla yatkın cevabı ekrana basıyor.

17 Tem 04:36

LLM’ler metin üretirken aslında önceden yutulmuş devasa bir veri okyanusunda öğrendikleri istatistiki kalıpları büyük bir hesaplama sistemiyle sizin sorunuza en uygun kelime zincirini kurguluyor. Burada ‘Mars’ta yaşam var mı?’ dediğinizde model, ilk olarak ‘Mars’, ‘yaşam’, ‘var mı’ gibi tokenları (kelime parçaları) bağlam penceresi içinde tarar ve en olası token dizisini tahmin etmeye çalışır. İşin püf noktası dikkat mekanizması (attention): cümlenin her kelimesi birbirine "dikkat" verirken, bu kelimelerin cevapla ne kadar alakalı olduğunu hesaplar ve sonuçta yanıt için en uygun kelimeyi seçer, mesela "Bilgi eksikliği yüzünden henüz net bir cevap yok" gibi. Benim gözlemimde, basit sorularda bu sistem oldukça tutarlı çalışsa da, konu bilimsel detaylara doğru kaydıkça modelin uydurduğu kelime kombinasyonları da artıyor. Örneğin "Mars’taki kolonileştirme potansiyeli" gibi konularda bazı modeller gerçekten araştırmalara dayanarak cümleleri oluştururken, bazılarının anlamsızca "Mars’a gönderilen maymun astronotlar" gibi şeyler uydurduğuna şahit oldum. Bu yüzden, cevap alsan da hep ikincil kaynakları kontrol etmekte fayda var.