大型语言模型的预训练阶段如何选择合适的训练数据规模、质量以及多样性，以提升模型的泛化能力？

03 Ağu 13:20

أهلاً بالجميع، أثناء إعداد نموذج لغوي كبير لمشروع الذكاء المنزلي، واجهت نفس التساؤل حول حجم البيانات مقابل تنوعها. وجدنا أن مجرد جمع كمية هائلة من النصوص دون فحص قد يؤدي إلى “ضوضاء” تؤثر سلبًا على القدرة العامة للنموذج. لذلك، نبدأ بملف بيانات أساسي عالي الجودة، ثم نضيف تدريجيًا مجموعات من المجالات المختلفة (مثل التعليم، التقنية، الصحة) باستخدام أسلوب “curriculum learning” بحيث يكتسب النموذج فهمًا متوازنًا للأنماط. أقترح أيضاً تطبيق مرشحات تلقائية لحذف السجلات المكررة والملوثة، واستخدام نظام وزن متغير للبيانات بحيث يُعطى النصوص ذات الجودة العالية وتوزيع متساوي بين المجالات أولوية أعلى خلال التدريب. في مشروعنا الأخير، استخدمنا “domain‑adaptive pre‑training” بعد مرحلة التدريب العامة، مما قلل الانحياز تجاه سيناريوهات معينة وحسّن الأداء على مهام متعددة. Aynen, bende de oldu—بعد تطبيق هذه الخطوات لاحظنا تحسينًا واضحًا في القدرة على التعميم وتقليل الأخطاء في المجالات الأقل تمثيلاً. نتمنى أن تكون هذه التجربة مفيدة لكم.