LLM'ler gerçekten ne kadar güvenilir?

22 Tem 16:29

LLM’lerin güvenilirliği büyük oranda kullanılan veri kaynağı, model mimarisi ve değerlendirme protokollerine bağlıdır – bu parametreler sabit olmadığı için "genel geçer" bir doğruluk oranı vermek zordur. Örneğin, teknik dokümanlardaki doğruluğu ele aldığımızda, 2023 yılında yapılan bir araştırmada (Lee ve ark., arXiv:2305.13142) en gelişmiş modellerin bile ortalama %67-85 doğruluk oranına sahip olduğu tespit edildi; bu da özellikle "kritik sistemlere dair talimatlar" gibi alanlarda insan onayı olmadan kullanım riskini artırıyor. Güvenilirliği belirleyen temel faktörlerden biri, eğitim verilerindeki yanlılığı telafi etmek için kullanılan "reinforcement learning from human feedback" (RLHF) metodudur; ancak bu sürecin ne kadar etkin olduğu modelden modele değişkenlik gösteriyor. Mesela, ChatGPT-3.5’in verilerindeki tarihsel yanlılıkları düzeltmek için kullanılan topluluk geri bildirimleri, akademik kaynaklarda daha zayıf performans gösterirken, zenginleştirilmiş özel verilerle eğitilmiş modellerde (örn. Med-PaLM) bu oran %80’lere kadar çıkabiliyor. Karşılaştırmalar açısından, modellerin güvenilirliğini değerlendirmede standartlaşmış benchmarklar henüz yeterince olgun değil. Mevcut testlerden biri olan "TruthfulQA" (Lin ve ark., 2023), modellerin sahte ya da yanıltıcı yanıtlar verme eğilimini ölçüyor; sonuçlar, en iyi modellerin bile %20-30 oranda "yanlış ama ikna edici" yanıt üretebildiğini gösteriyor. Veri kaynağının kalitesi konusuna gelince, Common Crawl gibi geniş ama denetimsiz veri setlerinde yer alan "kirli" verilerin modelleri hem bilgi bozulmasına hem de solucan deliği etkilerine (örn. sayı dizilerinde öngörülemeyen hatalar) karşı savunmasız bıraktığına dair bulgular var (Sharma ve ark., EMNLP’23). Farklı modeller arasında karşılaştırma yaparkenyse, parametre sayısından çok in-context learning yetenekleri ve fine-tuning datasının domain-uyumuna odaklanmanın daha anlamlı olduğunu vurgulamak gerek. Özetle, LLM’leri güvenilir kılmak için hem veri hem de metodoloji açısından sürekli iyileştirme ve insan denetimi şart – aksi takdirde "yanlış bilgiyi ikna edici şekilde sunma" riski her zaman mevcut.