Por qué el modelo que conservamos es uno que nunca entrenamos. · Source

El modelo que guardamos es el promedio del camino, no el último paso.

El promedio de los pesos mantiene un promedio silencioso y continuo de cada modelo por el que pasó el entrenamiento — y ese fantasma suele superar al modelo en el que te detuviste. Como la cara pulida de un yunque: ningún martillazo dio forma a ese acero como un espejo — lo hizo el promedio de diez mil, más fiel y sereno que cualquier golpe. Guardamos el promedio, casi gratis.

Cerca del fondo, el entrenamiento nunca se queda quieto.

\theta_{t+1} = \theta_t - \eta\,\tilde{g}_t, \qquad \tilde{g}_t = \nabla L(\theta_t) + \xi_t, \quad \mathbb{E}[\xi_t]=0

El descenso de gradiente no se asienta en el mínimo — lo orbita. Como una boya fondeada: amarrada sobre un punto y, aun así, meciéndose con cada ola, sin descansar nunca en el punto exacto. En palabras llanas: en el fondo la pendiente real ∇L es casi cero, pero cada mini-lote aún empuja los pesos con un pequeño ξ al azar — así que dan un paseo aleatorio sin moverse de sitio. El modelo en el que paras es solo donde quedó el vaivén.

La solución: guarda una copia en la sombra y mezcla una pizca en cada paso.

\bar{\theta}_t = \beta\,\bar{\theta}_{t-1} + (1-\beta)\,\theta_t

Así que no te fíes del último temblor. Guarda un segundo juego de pesos — un promedio continuo — y tras cada paso mezcla en él el modelo vivo apenas un pelo: casi toda la mezcla guardada, una fina rodaja de lo nuevo. Como un cubo de pintura que remueves a diario: una pizca fresca cada día, el color firme, desviándose solo un pelo cada vez. En palabras llanas: β cerca de 1 conserva casi todo el promedio viejo y deja entrar solo 1−β de los pesos más nuevos.

Una sola perilla fija cuánto recuerda hacia atrás.

\bar{\theta}_t = (1-\beta)\sum_{k=0}^{t-1}\beta^{k}\,\theta_{t-k}, \qquad \sum_{k=0}^{\infty}(1-\beta)\beta^{k}=1, \qquad \tau=\frac{\beta}{1-\beta}

Despliega esa mezcla y cada modelo pasado aún cuenta — pero menos cuanto más viejo, desvaneciéndose geométricamente: peso (1−β)β^k sobre el paso de hace k. Esos pesos suman exactamente 1 (un promedio limpio) y la memoria llega hacia atrás unos 1/(1−β) pasos. Como huellas que se borran en la nieve fresca: la que acabas de dejar es nítida, cada una más vieja se ablanda al cubrirla la ventisca — con β=0.999, las huellas siguen legibles unos mil pasos atrás.

Por qué ayuda: promediar cancela el temblor.

\operatorname{Var}(\bar{\theta}) = \frac{1-\beta}{1+\beta}\,\sigma^{2}, \qquad N_{\text{eff}} = \frac{1+\beta}{1-\beta}

Las instantáneas se dispersan alrededor del fondo real; promediarlas cancela la parte aleatoria. Como guijarros lanzados a una marca: ningún tiro cae justo en ella, pero el centro de todas las caídas queda en el blanco — y cuantos más tiros, más seguro ese centro. En palabras llanas: si cada vaivén fuera independiente, el promedio guardado tiene una varianza de (1−β)/(1+β) de la de una instantánea — con β=0.999, como promediar ≈2000.

Y aterriza en un lugar más amplio y sereno.

L\!\left(\frac{1}{T}\sum_{t=1}^{T}\theta_t\right) \le \frac{1}{T}\sum_{t=1}^{T} L(\theta_t)

Cerca del fondo, la cuenca tiene forma de tazón, así que por convexidad los pesos promediados no puntúan peor que la instantánea típica — y suelen ser mejores, más cerca del amplio centro plano. Como el fondo hundido de una hamaca: te sientes donde te sientes y resbalas al ancho centro, un asiento indulgente que apenas se mueve cuando lo empujan. Esa anchura es la clave: un mínimo plano tolera datos nuevos, así que el modelo promediado generaliza.

Pero promedia solo versiones que estén cerca entre sí.

Promediar es seguro dentro de una misma cuenca. Mezcla dos soluciones de verdad distintas y obtienes lo peor de ambas. Como partir la diferencia entre dos caminos en torno a un lago: apunta al promedio de una ruta por cada orilla y te metes en el agua — el punto medio de dos valles es la cresta entre ellos. Por eso solo rinde tarde, cuando la corrida ya se asentó en una cuenca. Y el modelo guardado es un fantasma que nunca ejecutaste: sus estadísticas necesitan una pasada fresca antes de fiarte.

🌱 Conservamos un yo que ningún paso fue jamás.

Apila cada instantánea y el modelo que guardamos es uno que ningún paso de entrenamiento produjo jamás — un consenso callado de versiones. Como la concha de un nautilo: su espiral lisa es cada cámara que llegó a crecer, todas las versiones anteriores sostenidas a la vez; ninguna cámara es la concha. Entonces, ¿cuál es la versión más verdadera — la última lección que aprendió, o el sereno promedio de todos los lugares donde estuvo? 🌱