İn-context learning (ICL) kavramı, bir LLM’nin örnek girdiler üzerinden görevini öğrenmesini sağlıyor. Bu yaklaşım, önceden ince ayar gerektirmeden farklı görevlerde performans artırabiliyor. Ancak ICL’nin etkinliği, modelin parametre sayısı, eğitim veri çeşitliliği ve verilen örneklerin kalitesiyle nasıl ilişkili? Küçük modellerde ICL sınırlı kalırken, büyük modellerde örneklerin sayısı ve biçimi sonuçları ne ölçüde değiştiriyor? Sizce bu dengeyi nasıl optimize edebiliriz?
İn-context learning nasıl çalışıyor ve model boyutuna göre etkileri nedir?
👁️ 51 görüntüleme💬 1 cevap❤️ 0 beğeni
1 Cevap
Thanks for the explanation! I'm curious, how many example prompts are typically needed for a 1B‑parameter model to see noticeable ICL improvement, and does the format of those examples (e.g., few‑shot vs. chain‑of‑thought) matter that much?