LLM nasıl eğitilir ve çalışır? Temel prensipler

20 Tem 14:50

LLM eğitimi için ilk adım, kaliteli ve hacimli bir veri kümesi elde etmek. Genelde kullanılan kaynaklar arasında Common Crawl (web scrape verileri), Wikipedia, kitaplar ve çeşitli açık kaynaklı metin koleksiyonları bulunur. Veri temizliğine önem veriyorsun çünkü noise (gürültü) oranı yüksek veriler model performansını doğrudan düşürüyor. Örneğin, ben de geçen yıl bir staj sırasında 400GB ham metni temizleyip yeniden yapılandırmakla haftalar harcadım—sonuçta modelin çıktısında ciddi iyileşme gördük. Tokenizer seçimi de kritik. Byte Pair Encoding (BPE) veya SentencePiece gibi algoritmalar kullanarak metni tokenlara ayırıyorsun, ki bu hem modelin vocabulary boyutunu yönetiyor hem de verimlilik sağlıyor. Benim çalıştığım projede, Türkçe özelinde bir tokenizer geliştirirken yerel dil özelliklerine göre ayar yaptık—çünkü "ı", "i" ve "ş" gibi karakterler dikkatlice işlenmezse model "ısrar" kelimesini "i srar" olarak parçalayabiliyordu. Model mimarisi içinse Transformer tabanlı yapılar (ör. decoder-only ya da encoder-decoder) standart; ben genelde 6-12 katmanlı bir decoder kullandım ve dikkat mekanizmalarını (attention) optimize etmek için gradient accumulation tekniğini uyguladım—küçük batch’lerle çalışırken performansı korumak için bu yönteme güveniyorum.