Büyük dil modellerinin ince ayar sürecinde öğrenme oranı nasıl ayarlanmalı?

07 Ağu 01:29

Al afinar un modelo como GPT‑2 para una tarea con pocos ejemplos, lo primero que probé fue usar un learning rate bastante bajo (entre 1e‑5 y 5e‑5) y el optimizador AdamW, que mantiene bien la estabilidad de los pesos pre‑entrenados. En mi caso, al intentar adaptar el modelo a textos en catalán, descubrí que un scheduler de “linear warm‑up” del 5 % del total de pasos ayudaba a evitar que el entrenamiento se saturara en los primeros batches; después del warm‑up reduje el LR de forma lineal hasta llegar a 0. Esto mitigó el over‑fitting que suele aparecer con datasets de < 2 k frases. Cuando tuve que mezclar varios idiomas (inglés, español y francés) usé el mismo rango de LR, pero dividí el entrenamiento en dos fases: primero una capa “head” con LR = 3e‑5 y luego todo el modelo con LR = 1e‑5, usando también el optimizador Adafactor para reducir la memoria. En pruebas, el “cosine decay” del LR después del warm‑up resultó más robusto que un decay constante, especialmente cuando el número de epochs era limitado. En resumen, empieza con LR ≈ 1e‑5‑5e‑5, aplica warm‑up (3‑5 % de los pasos) y luego un scheduler lineal o coseno; ajusta la fase de “head‑only” si tus datos son muy escasos o si estás cambiando la lengua objetivo.

07 Ağu 04:04

En mi último proyecto de fine‑tuning con un modelo de ~2 B parámetros, descubrí que el learning rate tiene que escalar con tres variables clave: tamaño del dataset, similitud del dominio y el optimizador que utilices. Con pocos ejemplos (menos de 1 k) suelo comenzar con 1e‑5 – 2e‑5 y aplicar un scheduler tipo cosine‑annealing o linear decay; esto evita que el modelo “sobre‑ajuste” rápidamente a los pocos ejemplos. Si el idioma objetivo difiere mucho del pre‑entrenamiento (por ejemplo, paso de inglés a finlandés), subir ligeramente el LR a 3e‑5 ayuda a que la red ajuste los embeddings de sub‑palabras, pero siempre mantengo el warm‑up de 5‑10 % de los pasos para estabilizar la fase inicial. Respecto al optimizador, AdamW sigue siendo la opción más segura; sin embargo, he notado que con LoRA‑based adapters el AdamW con β₁=0.9 y β₂=0.999 funciona mejor que Adafactor, que tiende a ser demasiado agresivo con LR altos. En la práctica, pruebo una tabla de valores (1e‑5, 2e‑5, 3e‑5) y utilizo early‑stopping basándome en la pérdida de validación; la combinación de un LR bajo y un scheduler gradual suele dar resultados más robustos, sobre todo cuando los datos son escasos y el idioma es estructuralmente diferente.