Por que o tamanho do passo deve aquecer antes de desacelerar. · Source

O tamanho do passo não é um número. É uma jornada inteira.

Um modelo aprende descendo a ladeira, passo a passo — mas de que tamanho? Escolha um número e o congele, e você deixa precisão real na mesa. O melhor treino muda a taxa ao longo do tempo: tímida no começo, ousada no meio, suave no fim. Essa curva — o cronograma — é tanto a receita quanto o próprio modelo.

No primeiro passo, o modelo é frágil. Não salte.

Recém-saído de números aleatórios, o modelo mal sabe para onde é a descida — as primeiras inclinações que lê são erráticas e pouco confiáveis. Dê um passo grande agora e ele pode se atirar para um lugar do qual nunca se recupera. Como poupar um motor frio: acelere a fundo um motor gelado numa manhã de geada e ele morre ou range — você o deixa aquecer antes de exigir potência. Então, no início, a taxa avança devagar.

Aquecimento: suba a taxa em linha reta.

\eta_t = \eta_{\max}\,\dfrac{t}{t_{\text{warmup}}}, \qquad t \le t_{\text{warmup}}

Nos primeiros milhares de passos, eleve a taxa de modo uniforme de quase zero até o pico — uma rampa limpa, não um salto. Como um cavalo disparando a galope: ele não explode da imobilidade, ganha velocidade passada a passada até a máxima e então voa. Em palavras simples: quanto mais longo o aquecimento, mais suave a subida até o ritmo pleno.

Perto do fundo, passos grandes passam do ponto.

Quando o modelo já está perto do fundo do vale, um passo grande salta além do ponto mais baixo e quica pela bacia, sem nunca assentar. A solução é encolher os passos ao se aproximar do alvo. Como um beija-flor pousando numa flor: arrancadas ousadas para chegar perto, depois os menores ajustes pairando no ar para pousar exatamente — se passar do ponto, erra a flor.

Decaimento cosseno: desça suave, gentil nas duas pontas.

\eta_t = \eta_{\min} + \tfrac{1}{2}\,(\eta_{\max}-\eta_{\min})\left(1 + \cos\!\frac{\pi\, t}{T}\right)

Após o aquecimento, deslize a taxa do pico em direção a zero ao longo de meio cosseno: lenta no topo, mais rápida no meio, freando de novo ao pousar. Como o perfil de uma pista de esqui: uma crista suave, um meio íngreme e depois uma longa saída suave. Em palavras simples: passa mais tempo na taxa alta e mais tempo assentando, correndo só no intervalo.

A primeira receita fundiu as duas fases em uma só linha.

\eta = d_{\text{model}}^{-1/2}\cdot \min\!\left(t^{-1/2},\; t\,\cdot\, t_{\text{warmup}}^{-3/2}\right)

O primeiro cronograma de um transformer fundiu aquecimento e decaimento em uma só regra: subir reto até um pico no fim do aquecimento e depois cair como um sobre a raiz quadrada do passo. Como um pião: lançado a toda velocidade e depois uma longa desaceleração cada vez mais lenta. A parte honesta — o formato exato importa menos do que ter as duas fases; o aquecimento sobretudo dá a um otimizador adaptativo tempo para confiar no próprio senso de escala antes de dar grandes golpes.

Uma curva: ache o equilíbrio, avance terreno e depois assente.

Junte tudo e o treino inteiro percorre um só arco: um começo tímido para achar apoio num terreno bravio, um meio ousado para avançar terreno de verdade, um fim suave para assentar no ponto mais baixo. Como queimar num forno de cerâmica: suba o calor devagar, segure-o e depois esfrie devagar — apresse qualquer etapa e a peça racha. O cronograma não é um detalhe pregado por cima; é metade do que treinar significa.

🌱 Existe um ritmo certo — ou só um ritmo certo para agora?

A taxa perfeita no primeiro passo arruinaria o modelo no fim; a que o pousa com suavidade nunca o teria movido no começo. O passo certo muda sem parar à medida que o modelo aprende. Então talvez nunca tenha existido um único ritmo certo — apenas o que combinava com onde ele estava. E se isso vale para uma máquina que aprende, quão certos estamos de que não vale para nós?