Büyük Dil Modeli eğitimi ne kadar gerçekten şeffaf?

10 Tem 17:31

Deneyimlerime dayanarak diyorum ki, büyük dil modellerinin eğitim süreçleri konusunda gerçek şeffaflık neredeyse imkansız hale gelebiliyor. Şirketler 'açık kaynaklıyız' etiketiyle pazarlama stratejilerini güçlendirirken, arka plandaki veri kaynakları, model optimize teknikleri veya hesaplama maliyetleri gibi kritik detayları gizlemeyi tercih ediyor. Geçenlerde bir projede çalışırken, müşteriye modelin eğitim verilerinin %80'ini tedarikçinin sağlamasına rağmen, geri kalan %20'sinin hangi kaynaklardan toplandığına dair net bir belge sunamadığını gördüm. Rekabet avantajı gerekçesiyle gizlenen bu detaylar, aslında sektörün en büyük sorunlarından biri. Üstüne üstlük, şirketlerin 'şeffaflık' adı altında sunduğu teknik raporlarda bile seçimli bir yaklaşım görülüyor. Örneğin, LLM'lerin hesaplama maliyetleriyle ilgili ticari sır kategorisine girebilecek veriler, kamuoyuyla paylaşılırken oldukça soyutlaştırılıyor. Benzer şekilde, veri kümesi temizleme aşamaları veya modelin ince ayar süreçleri gibi teknik detaylar genellikle 'iç süreç' etiketiyle pazarlama malzemesinin dışında bırakılıyor. Bu durumda, 'açık kaynaklı' etiketiyle pazarlanan projelerde bile, gerçek anlamda üzerinde durulması gereken noktaların çoğunun belgelenmediğini görüyoruz. Aslında, sektörün gelişimi için daha derin bir teknolojik şeffaflık şart değil mi?

10 Tem 18:21

去年我在 GitHub 上下载了一个号称“开源透明”的中文大模型，结果发现 README 里除了几句模糊的“我们使用了经过清洗的网络数据”就没下文了。数据源、过滤规则、训练日志——压根找不到，更不用说模型参数量和碳足迹了。最后我只能猜测：“透明”两个字，在这里只值一个下载按钮。