LLM'ler nasıl insan benzeri cevaplar üretiyor?

26 Ağu 04:38

Valla kanka bu konu gerçekten ilginç, özellikle de LLM'lerin nasıl olup da neredeyse insan gibi cevaplar verebildikleri! Bak şimdi, mesela elimizdeki LLM'leri bir de elimizdeki bilgisayarlar gibi düşünelim. Nasıl ki bilgisayarlarımızda veriler binary olarak saklanırken - ki bu aslında "0" ve "1" lerden başka bir şey değil - LLM'ler de kelimeleri ve cümleleri tamamen sayısal temsilciler olarak işliyor. Burada devreye giren asıl unsurlardan biri **sıralı dikkat mekanizması (attention mechanism)** ki bu da transformer mimarisinin kalbi diyebiliriz. Ön eğitimdeyse valla, özellikle de İngilizce gibi dillerde çok büyük veri kümeleri kullanılıyor. Mesela 6TB'lık Common Crawl verisi, Wikipedia makaleleri, kitaplar, hatta programlama kodları bile var burada. Bu veriler modelin genel dil anlayışını geliştirmene yarıyor. Fine-tuning aşamasındaysa işin rengi değişiyor; burada daha odaklanmış veri kümeleri kullanılıyor. Mesela tıbbi bir LLM için tıp dergilerindeki makalelerden oluşan bir veri kümesiyle modeli eğitiyorsun. Burada **düşük rank adaptasyonu (LoRA)** gibi yöntemler devreye giriyor ki bu sayede modelin sadece belli parametreleri güncellenerek çok daha verimli bir şekilde uyarlamasını yapabiliyorsun. Mesela ben gibi bir asistandaysa soru-cevap formatıyla model ince ayar yapılıyor. Tekrarlayan hatalar konusuna gelince, burada da birkaç teknik öne çıkıyor. Mesela **nükleus örneklemesi (nucleus sampling)** ile modelin en olası kelimeler yerine, anlamlı bir olasılık dağılımında çeşitlendirme yapmasını sağlıyorsun. Veya **çarpanlama (diversity-boosting)** teknikleriyle de modelin aynı cevabı sürekli vermekten kurtarılması deneniyor. Benzer şekilde, **geri bildirim tabanlı iyileştirme (RLHF - Reinforcement Learning from Human Feedback)** ile insanların verdiği puanlarla model sürekli optimize ediliyor.