私たちが残すモデルは、最後の一歩ではなく、道のり全体の平均だ。 重みの移動平均は、学習が通り抜けたすべてのモデルの静かな平均を保ち続ける — そしてその幻影は、実際に止めたモデルにたいてい勝る。磨かれた金床の面のように:その鏡のような鋼を形づくったのは一打ちではない — 一万回の打撃の平均が、どの一打よりも正確で穏やかに仕上げた。私たちはほぼ無料で、その平均を残す。
底の近くでは、学習は決してじっとしていない。 θt+1=θt−η g~t,g~t=∇L(θt)+ξt,E[ξt]=0\theta_{t+1} = \theta_t - \eta\,\tilde{g}_t, \qquad \tilde{g}_t = \nabla L(\theta_t) + \xi_t, \quad \mathbb{E}[\xi_t]=0 勾配降下は最小値で落ち着くのではなく、その周りを回り続ける。錨を下ろしたブイのように:一点につながれていても、波のたびに揺れ続け、正確な点には決して静止しない。平たく言えば:底では真の傾き ∇L はほぼゼロだが、ミニバッチごとに小さなランダムな ξ が重みを押す — だからその場でランダムに歩き続ける。あなたが止めたモデルは、たまたま揺れがあった場所にすぎない。
解決策:影の写しを保ち、毎ステップほんの一片を混ぜ込む。 θˉt=β θˉt−1+(1−β) θt\bar{\theta}_t = \beta\,\bar{\theta}_{t-1} + (1-\beta)\,\theta_t だから最後のひと揺れを信じてはいけない。もう一組の重み — 移動平均 — を保ち、毎ステップごとに生のモデルをほんのわずかだけ混ぜ込む:大半は保たれた混合、新しいものはごく薄い一片だけ。毎日かき混ぜる絵の具の桶のように:毎日ひとさじ新しい色を混ぜ、色は保たれ、一度にほんのわずかしかずれない。平たく言えば:β が1に近いほど古い平均をほぼすべて保ち、最新の重みは 1−β だけ取り込む。
ひとつのつまみが、どこまで過去を覚えているかを決める。 θˉt=(1−β)∑k=0t−1βk θt−k,∑k=0∞(1−β)βk=1,τ=β1−β\bar{\theta}_t = (1-\beta)\sum_{k=0}^{t-1}\beta^{k}\,\theta_{t-k}, \qquad \sum_{k=0}^{\infty}(1-\beta)\beta^{k}=1, \qquad \tau=\frac{\beta}{1-\beta} その混合をほどけば、過去のモデルはどれもまだ効いている — ただし古いほど弱く、幾何級数的に薄れる:k ステップ前には重み (1−β)β^k。これらの重みの合計はちょうど1(きれいな平均)で、記憶は約 1/(1−β) ステップ前まで届く。新雪に消えていく足跡のように:つけたばかりの跡は鮮明で、古いものほど吹き溜まりに埋もれて柔らかくなる — β=0.999 なら、足跡は約千ステップ前まで読み取れる。
効く理由:平均をとると揺れが打ち消される。 Var(θˉ)=1−β1+β σ2,Neff=1+β1−β\operatorname{Var}(\bar{\theta}) = \frac{1-\beta}{1+\beta}\,\sigma^{2}, \qquad N_{\text{eff}} = \frac{1+\beta}{1-\beta} スナップショットは真の底の周りに散らばる;それらを平均するとランダムな部分が打ち消される。的に投げる小石のように:どの一投も的には当たらないが、すべての着地点の中心はぴたりと的の上にある — そして投げるほど、その中心は確かになる。平たく言えば:もし各揺れが独立なら、保たれた平均の分散は1枚のスナップショットの (1−β)/(1+β) 倍 — β=0.999 なら、≈2000 枚を平均したようなものだ。
そして、より広く穏やかな場所に着地する。 L (1T∑t=1Tθt)≤1T∑t=1TL(θt)L\!\left(\frac{1}{T}\sum_{t=1}^{T}\theta_t\right) \le \frac{1}{T}\sum_{t=1}^{T} L(\theta_t) 底の近くでは谷はお椀の形をしているので、凸性により、平均された重みは典型的なスナップショットより悪くなることはない — たいていはより良く、広く平らな中心に近い。ハンモックのくぼんだ中心のように:どこに座っても広い真ん中へ滑り落ちる。押されてもほとんど動かない、寛容な座り心地だ。その広さこそが要点:平らな最小値は新しいデータに耐えるので、平均されたモデルは汎化する。
ただし、平均するのは互いに近くにいる自分どうしだけ。 平均が安全なのは同じ谷の中だけだ。本当に異なる二つの解を混ぜれば、両方の悪いところを得る。湖をまわる二本の道で間をとるように:それぞれの岸を行く道の平均を狙えば、水の中に突っ込む — 二つの谷の中間は、その間の尾根なのだ。だからこれが報われるのは遅く、学習がひとつの椀に落ち着いてからだ。そして保たれたモデルは一度も動かしたことのない幻影:信頼する前に、その移動統計を一度新しく通し直す必要がある。
🌱 私たちは、どの一歩でもなかった自己を残す。 すべてのスナップショットを重ねれば、私たちが残すモデルはどの学習ステップも生み出さなかったもの — 自己たちの静かな総意だ。オウムガイの殻のように:その滑らかな螺旋は育ててきたすべての部屋であり、過去のすべての自己が同時に保たれている;どの一室も殻そのものではない。では、最も本当の姿はどちらだろう — 最後に学んだ教えか、それとも立ってきたあらゆる場所の穏やかな平均か? 🌱
