モデルが学び方をゆがめずに、自分を簡素に保つ仕組み。 · Source

モデルを謙虚に保つ二つの方法。かつては同じ、今は違う。

少数の癖に頼りすぎるモデルは遠くへ行けない。見たものには鋭く、見ていないものには迷う。治療法は、すべての重みを少しずつゼロへ寄せ続けること。長年、その寄せ方の二つのレシピは同一だと証明されていて、どちらを使っても気にされなかった。やがて最適化アルゴリズムが変わり、二つは静かに分かれた。正しい方を選ぶと本当の精度が得られる。これが分離された重み減衰だ。

大きな重みはもろいモデルを作る。だから各重みをゼロに繋ぐ。

\mathcal{L}_{\text{reg}} = \mathcal{L} + \tfrac{\lambda}{2}\lVert w \rVert^{2}

重みを巨大に育てると、モデルは一つの派手な癖にすべてを賭ける。だからゼロへの穏やかな引きを足す。重みが大きいほど強く引き戻される。ばねのように: どの重みもゼロへの細い弾性のひもにぶら下がり、遠くへ離れるほど強く跳ね返される。平たく言えば、損失には λ の半分に重みの長さの二乗を掛けた分が上乗せされる。まさにばねが蓄えるエネルギーだ。

素朴な最適化では、ばねはただ一定の縮小にすぎない。

w_{t+1} = w_t - \eta\nabla\mathcal{L} - \eta\lambda w_t = (1-\eta\lambda)\,w_t - \eta\nabla\mathcal{L}

ばねの引きを取り出すと計算はおとなしい。その傾きはただ λ かける重み。だから各ステップはまず重みをほんの少し縮め、それからデータに従う。罰則と縮小は同じ動きだ。仕立て屋のように: 型紙を小さく引き直しても、縫い目を一つずつ詰めても、仕上がった服の寸法は同じになる。平たく言えば、ばねを損失に足すことは、毎ステップ各重みに (1−ηλ) を掛けるのとまったく同じだ。

だが現代の最適化は、足並みをそろえて進まない。

w_{t+1} = w_t - \eta\,\dfrac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}

今やほぼ誰もが使う最適化は、各重みに固有の歩幅を与える。最近の勾配がどれだけ大きかったかの平方根 (√v̂) で動きを割り、勾配の移動平均で向きを取る。激しく揺れてきた重みは小さく慎重に進み、穏やかな重みは大股で進む。綱渡りのように: 綱が最も揺れる所で、足取りは最も小さくなる。

ばねをそこに通すと、縮小は偏ってしまう。

\Delta w_{\text{decay}} \;\propto\; \dfrac{\lambda\,w_t}{\sqrt{\hat v_t}+\epsilon}

ここに落とし穴がある。ばねを勾配に直に取り付ける——いかにもな方法——と、最適化はその重みごとの尺度で減衰まで割ってしまう。だから最も活発な重み、最も抑えたい重みほど、縮みが小さくなる。カーリングのストーンとホッケーのパックを同じ力で押すように: 同じ一押しでも、重いストーンはほとんど動かず、パックは飛んでいく。平たく言えば、重みが受ける縮みは、その大きさをこれまでの活発さ (√v̂) で割ったものだ。

解決策。縮小をダイヤルから外す。

w_{t+1} = w_t - \eta\,\dfrac{\hat m_t}{\sqrt{\hat v_t}+\epsilon} - \eta\lambda w_t

トレーラーを切り離すように: 縮小を動力機構から外し、単独で働かせる。データのための通常の適応ステップを踏み、それとは別に、これまでの活発さに関わらずすべての重みを同じ一定の割合でゼロへ寄せる。この切り離しこそが要点だ。平たく言えば、−ηλw の項はいまや √v̂ の割り算の外にあり、どの重みも毎ステップ同じ (1−ηλ) だけ縮む。

もう、互いに邪魔し合わない二つのつまみ。

減衰が解き放たれると、二つのつまみがついに分かれる。一方はどれだけ速く学ぶかを決め、もう一方はどれだけ強く簡素にするかを決める。片方を回しても、もう片方はにじまない。コンロの二口のように: 片方の鍋の火を、もう片方に触れずに強められる。正直な注意点。素朴な最適化では二つのレシピは本当に同一だった。分離が報われるのは、各重みが自分のペースで進むようになってからだ。

🌱 片づけは、仕事から離して置いたときに最もうまくいった。

すべての成果は、一つの静かな行いから生まれた。忘れるという衝動を、学ぶ機構から持ち上げ、単独で働かせること。二つの圧力——一方はデータへ手を伸ばし、もう一方はすべてを無へと戻す——が並んで保たれ、決して混ざらない。では、片づけが仕事の内に属するのはいつで、外に立つべきなのはいつなのか。そして、均等に、意図して忘れることは、学ぶことの一部なのか、それともそれ自体の静かな技なのか。