歩幅はひとつの数字じゃない。ひとつの旅だ。 モデルは坂を一歩ずつ下って学ぶ。でも、その一歩はどれくらい大きく？ 数字をひとつ決めて固定すると、本来の精度を取りこぼす。最良の学習は歩幅を時間とともに変える。最初は控えめ、中盤は大胆、最後はそっと。その曲線——スケジュール——は、モデルそのものと同じくらいレシピの一部だ。
最初の一歩、モデルはもろい。飛ぶな。 ランダムな数字から出たばかりのモデルは、どちらが下かもほとんど分からない——最初に読む傾きは荒れていて当てにならない。ここで大きく踏み出せば、二度と戻れない場所まで飛んでいきかねない。冷えたエンジンをいたわるように: 凍えた朝にいきなり全開にすればエンストするか傷む——力を求める前に、まず温める。だから歩幅は最初、そろそろと進む。
ウォームアップ:学習率を直線で上げる。 ηt=ηmax ttwarmup,t≤twarmup\eta_t = \eta_{\max}\,\dfrac{t}{t_{\text{warmup}}}, \qquad t \le t_{\text{warmup}} 最初の数千ステップは、学習率をほぼゼロから頂点まで均等に持ち上げる——飛び跳ねず、なめらかな上り坂で。馬が駆け足に移るように: 止まったままいきなり爆発はせず、一歩また一歩と全速力まで上げ、それから飛ぶように走る。平たく言えば:ウォームアップが長いほど、全速までの上りはゆるやかになる。
底の近くでは、大きな一歩は行き過ぎる。 モデルが谷底の近くまで来ると、大きな一歩は最も低い点を飛び越え、くぼみの中を跳ね回って、いつまでも落ち着かない。手は、目標に近づくほど歩幅を縮めること。ハチドリが花にとまるように: 近づくまでは大胆に、そこからは空中で静止しながらごく小さく動いて、ぴたりと降り立つ——行き過ぎれば花を外す。
コサイン減衰:両端はゆるやかに、なだらかに下げる。 ηt=ηmin+12 (ηmax−ηmin)(1+cos π tT)\eta_t = \eta_{\min} + \tfrac{1}{2}\,(\eta_{\max}-\eta_{\min})\left(1 + \cos\!\frac{\pi\, t}{T}\right) ウォームアップのあとは、学習率を頂点からゼロへ、半分のコサインに沿って滑らせる。上では遅く、中ほどで最も速く、着地に向けてまた遅くなる。スキー場の斜面のかたちのように: ゆるやかな頂、急な中腹、そして長くゆるやかな終わり。平たく言えば:高い学習率にも、落ち着く局面にも長く留まり、急ぐのはその間だけだ。
最初のレシピは、両方を一行に溶かし込んだ。 η=dmodel−1/2⋅min (t−1/2, t ⋅ twarmup−3/2)\eta = d_{\text{model}}^{-1/2}\cdot \min\!\left(t^{-1/2},\; t\,\cdot\, t_{\text{warmup}}^{-3/2}\right) ごく初期のトランスフォーマーのスケジュールは、ウォームアップと減衰をひとつの規則に溶かし込んだ。ウォームアップの終わりで頂点までまっすぐ上がり、そこからステップ数の平方根分の一で下がっていく。独楽（こま）のように: 勢いよく全速まで回し、あとは長く、どんどんゆるやかに止まっていく。正直なところ——厳密な形より、両方の局面があることのほうが効く。ウォームアップの主な役目は、適応的な最適化器が大きく振り出す前に、自分の尺度感覚を信じられるだけの時間を稼ぐことだ。
ひとつの曲線:足場を見つけ、距離を稼ぎ、そして落ち着く。 すべてをつなげると、学習の全行程はひとつの弧を描く。荒れた地形で足場を探す控えめな始まり、本当に距離を稼ぐ大胆な中盤、最も低い点へ落ち着く穏やかな終わり。窯で焼くように: 火をゆっくり上げ、保ち、ゆっくり冷ます——どの段階を急いでも、器は割れる。スケジュールは後付けの細部じゃない。学習とは何かの、半分そのものだ。
🌱 正しいペースはあるのか——それとも「今の」正しいペースだけか。 最初の一歩で完璧な学習率は、終わりではモデルを壊す。そっと着地させる学習率は、始まりでは何も動かせなかっただろう。正しい一歩は、モデルが学ぶにつれて変わり続ける。だから、ただひとつの正しいペースなど初めから無かったのかもしれない——あったのは、その時いた場所に合うペースだけ。そしてそれが学ぶ機械に当てはまるなら、私たち自身には当てはまらないと、どこまで言い切れるだろう。
