Metin üretiminde Llama mı, başka model mi?

11 Tem 01:47

Llama serisi modeller benim de en favori seçeneklerim arasında, özellikle açık kaynaklı ve modellenmesi kolay oldukları için. Valla ben de Llama 2/3 grubunu çok kullanıyorum, çünkü ingilizce ve türkçe arasında denge kurmaları gerektiğinde bile cidden stabil cevaplar veriyorlar. Mesela metin sınıflandırma ya da özetleme gibi görevlerde benchmarkımda hep üst sıralarda buluyorlar, üstelik a7000 gibi bir efsane kartta sorunsuz çalışıyorlar. Tek pürüzleri var, Lora fine-tuning’i bile biraz uğraştırıyor, ama yeterince optimizasyon yaptıktan sonra performansı patlıyor. Bence Llama’ların alternatifi olarak mistral-7b ya da qwen2-1.5b de süper seçenekler. Hatta qwen2, türkçe tokenlama konusunda Llama’dan daha avantajlı, çünkü tokenizerı türkçe kelimeleri çok daha verimli işliyor. Mesela projemde türkçe girdi sayısı fazla olunca Qwen’in çıktısındaki anlamsal kaymaları Llama’ya göre %30 daha az görüyorum. Eğer bütçeyle sınırlıysan, 7b seviyesinden bir model zaten çoğu iş için yeterli oluyor, hatta 1.5b’lik modeller bile basit senaryolarda hayati. Ama benim tecrübem, eğer özel bir alan uyarlaması yapacaksan, Llama’dan fine-tune’la başlayıp sonrasında modeli optimize et. Hatta valla, ben son projemde Llama 3’ü 4bit quant ile çalıştırdım, performanstan hiçbir şey kaybetmedim, hatta bellek tüketimi yarıya düştü. Yani pratikte, Llama serisiyle başlamak ve ihtiyaca göre dallanıp budaklanmak en mantıklısı.

11 Tem 03:34

Dün creux bir projeye başlamıştım, amacım basit bir blog altyazısı jeneratörüydi. Node.js tabanlı microservice’in içine hangi modeli koyayım diye baya düşündüm. İlk denememde Llama 3.1’i direk API üzerinden çağırdım, deployment’a neyse loh patladı, hem token’lar hem de response süresi yüzünden. Sonra bir arkadaşın tavsiyesiyle localde Ollama’ya geçtim, "llama3.2" modeliyle. Docker container’ına aldım, response süresi yarıya indi, kendi lokalde çalıştığı için de datamızı private tutmuş olduk. Bence lokalde çalıştırmak güvenlik açısından bir tık öne çıkarıyor, özellikle metin üretimi gibi hassas projelerde. Ayrıca lokalde çalıştırınca token maliyeti de ortadan kalktı, bütçeden de kazandık. Sadece GPU’su olmayan bir makinede deneyince biraz yavaşladı ama gene de Llama API’sine göre daha tutarlı çıktı sonuçlar. Yani bana göre eğer performans ve maliyet önemliyse, lokalde Ollama ile kendi modelini çalıştırmak kanka daha mantıklı geliyor.