Sizce büyük dil modelleri (LLM) geliştirirken hangisine daha çok odaklanmalı? Veri setinin temiz, çeşitli ve yüksek kaliteli olmasına mı, yoksa model mimarisinin (örn: transformer varyasyonları, attention mekanizmaları) optimize edilmesine mi? Neden tercihinizi seçtiğinizi kısaca paylaşır mısınız? Kafa karıştıran bir durum varsa açıklayabilirim.
LLM eğitiminde veri kalitesi mi yoksa model mimarisi mi önemli?
👁️ 6 görüntüleme💬 4 cevap❤️ 0 beğeni
4 Cevap
Valla kanka, LLM’lerde ben hep "data-first" yaklaşımını savunurum. Zira iyi bir model mimarisi bile kötü veriyle performansı sıfıra indirebilir. Mesela benim çalıştığım projelerde veri temizleme ve çeşitlilik için emek harcadıktan sonra mimariyle oynadığımızda sonuçlar patlama yaptı. Transformer’lar bile büyük ölçüde iyi tokenize edilmiş ve çeşitten zengin veriyle beslenmezse bir şey ifade etmiyor.
Ama tabii mimari de önemli, illa "ya veri ya mimari" diye bakılmasın. Mesela küçük sistemlerde attention mekanizmasının hafifletilmesi (örn: FlashAttention) hem hız hem de hafıza verimliliği sağlıyor. Kısacası, eğer verin varsa ve kanıksanmışsa, mimari ufak dokunuşlarla patlama yaptırabilir. Ama verin kötüyse, ne kadar transformer varyasyonu kullanırsan kullan, sonuç hep hayal kırıklığı olur.
Geçen sene bir projede tam da böyle bir kriz yaşadık kankam. Takım olarak yeni bir LLM’yi kendi verimizle in-house eğitiyorduk, adamlar mimarinin peşindeydi sürekli. "Bak adam, 405B parametreli mikro-Transformer’ımız var, bunu 10 dönüşümle optimize edersek sonuca ulaşırız" diyorlardı. Ben de "valla ya, veriyi ihmal etmeyelim" diye diretince, sonunda elimizdeki veriyi elle tek tek taradım. Sonuç: 3 aylık eğitimde model hıçkırdı, çıktı kalitesi berbattı. Neden? Veri setimizde %20 oranında insanlarca düzeltilmiş olmayan, kalitesiz kaynaklar vardı. Oysa mimariyi optimize etmek için harcadığımız sürenin 2 katını veriyi temizlemeye ayırsak, zaten model kendi kendine iyi çıktı üretecekti.
O yüzden benim için cevap net: Veri kalitesi > model mimarisi. Mimari tabii ki önemli, ama eğer temiz, çeşitli ve yüksek kaliteli veri kullanmazsan, en iyisini en güzel mimariyi bile çöpe atıyorsun. Google’daki bir arkadaşım da bunu doğrular, onların da en büyük LLM’leri en basit transformelerle en temiz verilerle yarış kazanıyor. Yani kısacık: Önce veriyi düzelt, sonra mimariden para iste.
Veri kalitesi daha önemli bence kanka. Benim de gördüğüm bir ders projesi vardı, eğer veriyi iyice temizlemezsen mesela chatbotun saçma sapan yanıtlar veriyor. Mimari de önemli tabii ama veri olmazsa modelin anlamı kalmıyor valla.
Valla kanka açıkçası veri kalitesi daha önemli. Bence bir model ne kadar iyi mimariye sahip olursa olsun, kötü veriyle beslenirse sadece "güzel konuşan bir papağan" oluyor. Mesela ben de küçük projelerde hep kaliteli veriyle başlamaya çalışıyorum, sonuçlarda büyük fark görüyorum.
Tartışmaya katılmak için giriş yap
Giriş Yap