Por qué el tamaño del paso debe calentarse antes de enfriarse. · Source

El tamaño del paso no es un número. Es todo un viaje.

Un modelo aprende bajando la pendiente, paso a paso, pero ¿de qué tamaño? Si eliges un número y lo congelas, dejas precisión real sin aprovechar. El mejor entrenamiento cambia la tasa con el tiempo: tímida al principio, audaz en el medio, suave al final. Esa curva — el programa — es tanto la receta como el propio modelo.

En el primer paso, el modelo es frágil. No saltes.

Recién salido de números aleatorios, el modelo apenas sabe dónde está el fondo: las primeras pendientes que lee son erráticas y poco fiables. Da un paso grande ahora y puede lanzarse a un sitio del que nunca se recupera. Como arrancar un motor frío: pisa a fondo un motor helado en una mañana de escarcha y se cala o se fuerza — lo dejas calentar antes de pedirle potencia. Así que al principio la tasa avanza despacio.

Calentamiento: sube la tasa en línea recta.

\eta_t = \eta_{\max}\,\dfrac{t}{t_{\text{warmup}}}, \qquad t \le t_{\text{warmup}}

Durante los primeros miles de pasos, sube la tasa de forma pareja desde casi cero hasta su máximo — una rampa limpia, no un salto. Como un caballo lanzándose al galope: no estalla desde parado, gana velocidad zancada a zancada y entonces vuela. En palabras simples: cuanto más largo el calentamiento, más suave la subida hasta el ritmo pleno.

Cerca del fondo, los pasos grandes se pasan.

Cuando el modelo ya está cerca del fondo del valle, un paso grande salta más allá del punto más bajo y rebota por la cuenca sin asentarse nunca. La solución es achicar los pasos al acercarte a la meta. Como un colibrí posándose en una flor: arranques audaces para acercarse, y luego los empujoncitos más leves, suspendido en el aire, para posarse justo — si se pasa, falla la flor.

Decaimiento coseno: baja suave, gentil en ambos extremos.

\eta_t = \eta_{\min} + \tfrac{1}{2}\,(\eta_{\max}-\eta_{\min})\left(1 + \cos\!\frac{\pi\, t}{T}\right)

Tras el calentamiento, desliza la tasa desde su máximo hacia cero siguiendo medio coseno: lenta arriba, más rápida en el medio, frenando otra vez al aterrizar. Como el perfil de una pista de esquí: una cresta suave, un medio empinado y luego una larga salida suave. En palabras simples: pasa más tiempo en la tasa alta y más tiempo asentándose, apurándose solo en medio.

La primera receta fundió ambas fases en una sola línea.

\eta = d_{\text{model}}^{-1/2}\cdot \min\!\left(t^{-1/2},\; t\,\cdot\, t_{\text{warmup}}^{-3/2}\right)

El primer programa de un transformer fundió calentamiento y decaimiento en una sola regla: subir recto hasta un pico al final del calentamiento y luego caer como uno sobre la raíz cuadrada del paso. Como una peonza: impulsada a toda velocidad y luego una larga deceleración cada vez más lenta. La parte honesta — la forma exacta importa menos que tener ambas fases; el calentamiento sobre todo le da a un optimizador adaptativo tiempo para fiarse de su propio sentido de la escala antes de dar grandes golpes.

Una curva: halla el equilibrio, avanza terreno y luego asienta.

Júntalo todo y el entrenamiento entero recorre un solo arco: un inicio tímido para hallar pie en un terreno agreste, un medio audaz para ganar terreno de verdad, un final suave para asentarse en el punto más bajo. Como cocer en un horno de cerámica: sube el calor despacio, mantenlo y luego enfría despacio — apura cualquier etapa y la pieza se agrieta. El programa no es un detalle añadido; es la mitad de lo que significa entrenar.

🌱 ¿Hay un ritmo correcto — o solo uno correcto para ahora?

La tasa perfecta en el primer paso arruinaría el modelo al final; la que lo posa con suavidad nunca lo habría movido al principio. El paso correcto cambia sin cesar a medida que el modelo aprende. Así que quizá nunca hubo un único ritmo correcto — solo el que encajaba con dónde estaba. Y si eso vale para una máquina que aprende, ¿qué tan seguros estamos de que no vale para nosotros?