Por que o modelo que guardamos é um que nunca treinamos. · Source

O modelo que guardamos é a média do percurso, não o último passo.

A média dos pesos mantém uma média silenciosa e contínua de cada modelo por que o treino passou — e esse fantasma costuma superar aquele em que você parou. Como a face polida de uma bigorna: nenhuma martelada deu forma àquele aço espelhado — foi a média de dez mil, mais fiel e serena do que qualquer golpe. Guardamos a média, quase de graça.

Perto do fundo, o treino nunca fica parado.

\theta_{t+1} = \theta_t - \eta\,\tilde{g}_t, \qquad \tilde{g}_t = \nabla L(\theta_t) + \xi_t, \quad \mathbb{E}[\xi_t]=0

A descida de gradiente não se assenta no mínimo — ela o orbita. Como uma boia ancorada: amarrada sobre um ponto e ainda assim balançando a cada onda, sem nunca repousar no ponto exato. Em palavras simples: no fundo, a inclinação real ∇L está perto de zero, mas cada minilote ainda empurra os pesos por um pequeno ξ aleatório — então eles passeiam aleatoriamente no mesmo lugar. O modelo em que você para é só onde o balanço calhou de estar.

A saída: guarde uma cópia na sombra e misture uma fração a cada passo.

\bar{\theta}_t = \beta\,\bar{\theta}_{t-1} + (1-\beta)\,\theta_t

Então não confie no último tremor. Guarde um segundo conjunto de pesos — uma média contínua — e, após cada passo, misture nele o modelo vivo por um fio: na maior parte a mistura guardada, uma fatia fina do novo. Como um balde de tinta que você mexe todo dia: uma pitada fresca misturada a cada dia, a cor firme, desviando só um fio de cada vez. Em palavras simples: β perto de 1 mantém quase toda a média antiga e deixa entrar só 1−β dos pesos mais novos.

Um único botão define até onde ele lembra.

\bar{\theta}_t = (1-\beta)\sum_{k=0}^{t-1}\beta^{k}\,\theta_{t-k}, \qquad \sum_{k=0}^{\infty}(1-\beta)\beta^{k}=1, \qquad \tau=\frac{\beta}{1-\beta}

Desenrole essa mistura e cada modelo passado ainda conta — mas menos quanto mais antigo, esmaecendo geometricamente: peso (1−β)β^k sobre o passo de k atrás. Esses pesos somam exatamente 1 (uma média limpa), e a memória alcança cerca de 1/(1−β) passos para trás. Como pegadas que somem na neve fresca: a que você acabou de deixar é nítida, cada uma mais antiga amacia conforme a nevasca a preenche — com β=0.999, as pegadas seguem legíveis cerca de mil passos atrás.

Por que ajuda: a média cancela o tremor.

\operatorname{Var}(\bar{\theta}) = \frac{1-\beta}{1+\beta}\,\sigma^{2}, \qquad N_{\text{eff}} = \frac{1+\beta}{1-\beta}

Os instantâneos se espalham em torno do fundo real; calcular a média deles cancela a parte aleatória. Como pedrinhas atiradas a uma marca: nenhum arremesso cai nela, mas o centro de todas as quedas fica bem no alvo — e quanto mais arremessos, mais seguro esse centro. Em palavras simples: se cada oscilação fosse independente, a média guardada tem variância de (1−β)/(1+β) da de um instantâneo — com β=0.999, como calcular a média de ≈2000 deles.

E ele pousa num lugar mais amplo e calmo.

L\!\left(\frac{1}{T}\sum_{t=1}^{T}\theta_t\right) \le \frac{1}{T}\sum_{t=1}^{T} L(\theta_t)

Perto do fundo, a bacia tem forma de tigela, então por convexidade os pesos médios não pontuam pior que o instantâneo típico — e geralmente melhor, mais perto do amplo centro plano. Como o fundo afundado de uma rede de dormir: sente onde sentar e você escorrega para o meio largo, um assento tolerante que mal se desloca quando empurrado. Essa largura é o ponto: um mínimo plano tolera dados novos, então o modelo médio generaliza.

Mas só faça a média de versões próximas umas das outras.

Calcular a média é seguro dentro de uma mesma bacia. Misture duas soluções de fato diferentes e você fica com o pior das duas. Como rachar a diferença entre duas estradas em volta de um lago: mire na média de uma rota por cada margem e você entra na água — o ponto médio de dois vales é a crista entre eles. Por isso só compensa tarde, quando a corrida já se assentou em uma bacia. E o modelo guardado é um fantasma que você nunca executou: suas estatísticas correntes precisam de uma passada fresca antes de você confiar nele.

🌱 Guardamos um eu que nenhum passo jamais foi.

Empilhe cada instantâneo e o modelo que guardamos é um que nenhum passo de treino jamais produziu — um consenso silencioso de versões. Como a concha de um náutilo: sua espiral lisa é cada câmara que ela chegou a formar, todas as versões anteriores mantidas ao mesmo tempo; nenhuma câmara é a concha. Então qual é a versão mais verdadeira — a última lição que aprendeu, ou a calma média de todos os lugares onde esteve? 🌱