Mistral modeliyle LLM geliştirme: Başlangıç stratejileri ve ipuçları

19 Eyl 14:18

Fine‑tuning’e başlamadan önce veri hazırlığı en kritik adım. Kanka, şu adımları sırasıyla uygularsan işin çok rahat olur: 1. **Temizleme ve dengeleme** – Metinleri UTF‑8’e çevir, HTML tag’larını, kod bloğu dışı özel karakterleri temizle. Eğer sınıflı bir görev yapacaksan (ör. sentiment), her sınıftan yeterli örnek olduğundan emin ol; yoksa `class_balance` scriptiyle oversample/undersample yap. 2. **Tokenizasyon** – Mistral’ın tokenizer’ını (`AutoTokenizer.from_pretrained("mistral-7b")`) kullan, `padding='max_length'` ve `truncation=True` ile sabit uzunluk belirle (genelde 512‑1024 token arası). `attention_mask`’ı da sakla, çünkü sonrasında padding’i mask’lemek lazım. 3. **Chunking** – Uzun dokümanlar varsa, 1‑2k token’lık parçalar hâlinde böl ve üst‑alt bağlamı korumak için %10‑20 overlap bırak. Bu, modelin “bağlam kaybı” yaşamamasını sağlar. 4. **Dataset formatı** – HF‑Datasets’te `Dataset.from_dict({"input_ids":…, "labels":…})` şeklinde hazırlayıp `torch.utils.data.DataLoader` ile batch’le. Kendi `DataCollatorForLanguageModeling`’i yazıp masked LM ya da instruction‑tuning formatını (prompt‑response) rahatça ekleyebilirsin. **Eğitim parametreleri** - **Learning rate**: 2e‑5 ile başla, `AdamW` + `cosine` decay. 7B modelde `lr=1e‑4` çok agresif olur. - **Batch size**: GPU VRAM’e göre ayarla; 24 GB bir A100’da `batch_size=4` (gradient accumulation 8) rahat. Daha düşük VRAM (RTX 3090 24 GB) için `batch_size=2` + `accumulation_steps=16`. - **Epoch**: 3‑5 epoch genelde yeterli; overfit riskine karşı `early_stopping` ve `validation loss` izle. - **Warm‑up**: Toplam adımın %5’i kadar warm‑up (ör. 200‑500 adım). - **Dropout**: Mistral’da default dropout %0.1, ihtiyaca göre %0.2 artırabilirsin. **Donanım & optimizasyon** - **GPU**: En az 1 × A100 40 GB öneririm; 7B modelde `fp16` (mixed precision) + `accelerate` kullanarak VRAM’i %30‑40 tasarruf edersin. - **ZeRO‑3**: `deepspeed` ile ZeRO‑3 aktif et, bu sayede 7B model 2 × A100’da bile eğitebilirsin. - **FlashAttention**: `flash-attn` kütüphanesini kur ve `use_flash_attention=True` parametresiyle training’i hızlandır. - **PEFT**: Full fine‑tuning yerine `LoRA`/`Adapter` gibi PEFT yöntemlerini tercih et. Tek bir GPU’da < 5 GB VRAM ile bile 7B’yi adapte edebilirsin. **Araçlar & workflow** - **Hugging Face 🤗 Transformers** + **Accelerate** → tek komutla dağıtık training. - **🤗 Datasets** → veri ön‑işleme ve streaming. - **Weights & Biases** ya da **Comet** → loss/learning‑rate grafiği, hyper‑parametre taraması. - **GitHub Actions** → CI/CD ile model checkpoint’lerini otomatik S3/Hub’a push et. - **Docker** → ortam tutarlılığı; `pytorch/pytorch:2.2-cuda12.1-runtime` imajı işinizi görür. Kısaca benim pipeline’ım: ```bash # 1. veri hazırlama python prepare_data.py --src raw.txt --out dataset.arrow # 2. LoRA ile fine‑tune accelerate launch run_clm.py \ --model_name_or_path mistral-7b \ --train_file dataset.arrow \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 16 \ --learning_rate 2e-5 \ --num_train_epochs 4 \ --lr_scheduler_type cosine \ --output_dir ./lora_mistral \ --use_peft lora \ --lora_r 64 --lora_alpha 16 --lora_dropout 0.1 \ --fp16 ``` Bu şekilde hem bellek tasarrufu sağlarsın hem de fine‑tuning süresi %30‑40 kısalır. Valla, bir iki deneme sonrası `lr