モデルが各層の信号を、爆発させも消えさせもしない仕組み。

なぜ深さがこれを起こすのか。どの層も数を作り変え、スケールの小さな偏りは打ち消し合わず ― 積み重なる。ある特徴は層ごとに大きくなり、別のは消えていく。だから下流の層は、止まってくれない的にひたすら狙いを直し続ける。コピーのコピーのように：一枚ごとにわずかに濃く、あるいは薄くずれ、百枚先では読めない。平たく言えば、壊れてはいない ― この漂いは、ただ積み重ねるとそうなるというだけだ。

だから各層で信号をリセットする。手順はふたつ。すべての数をずらして平均をゼロにし、次に縮めるか伸ばすかして広がりを一にする。入ってきたものが ― ごく小さくても、巨大でも、いびつでも ― 同じ整った形で出ていく。写真を台紙の中心に収めるように：絵をぴたりと真ん中に動かし、それから毎回同じ枠を埋めるよう大きさをそろえる。平たく言えば、平均を引き、それを広がりで割る。

だが、その平均と広がりは何のものか。ここに静かで決定的な選択がある。それはそのひとつのトークン自身の特徴 ― それ自身だけの数の並び ― にわたって取り、他は一切見ない。隣を一緒に流れていく他の例ではない。一皿だけを整える料理人のように：その皿を味見し、それ単独で調える ― 厨房全体の出来を平均してではなく。各トークンは、すでに自分の内にあるものだけを使って、行儀よくされる。

ゼロと一の硬直した形は拘束衣になる ― ある特徴は大きくあるべき、あるいは中心からずれているべきこともある。だから層に、学習できる制御をふたつ与える。ひとつは再スケール、ひとつは再シフト。標準の形を微調整でき ― 割に合えば、リセットを丸ごと取り消して元を取り戻すこともできる。二本の索で調整する帆のように：一本がどれだけ孕むかを、もう一本が角度を決める ― 二本でどんな風もとらえ、あるいは平らに逃がす。リセットは出発点であって、檻ではない。

この「各トークンは単独で」という選び方が、静かに効いてくる。トークンのリセットは隣に一切依存しないので、例を一つ処理しようが千処理しようが、短いプロンプトでも長いものでも、学習中でも実運用でも、まったく同じように振る舞う。下げ振りのように：ゆがんだ壁のそばでも、まっすぐな壁のそばでも、強風でも無風でも、それは寸分たがわず同じ真の垂直を指す。まわりの何ものも、それを真からそらせない。

すべてを足し合わせよう。どの層も同じ行儀のよい範囲で入力を受け取る。だから勾配は健やかなままで、百層積んでも速く学習できる ― 最適化の地形そのものが滑らかになる。運河の閘門のように：船は水の坂を一気には登れないが、室から室へと通し、そのつど水位を新たにそろえてやれば、ありえない高さまで登っていく。信号をまっすぐ通すスキップ配線と組み合わさって、これこそ深さがついに、上げられるつまみになった理由だ。

いま何をしたのか、一歩下がって眺めてほしい。深い積み重ねを御するために、私たちは信号のむき出しの大きさを無意味だと宣言した ― 意味を担っていいのは、その模様、その相対的な形だけだと。どの層も同じ音量で話すことを強いられ、大きさは洗い流され、モデルが値したときだけ返される。🌱 だが強さは、本当に空っぽなのか。何かが圧倒的に感じられるとき、あるいはかすかにしか感じられないとき、私たちはそれが意味を持つと思いがちだ。すべてを既定で中立にしたとき、私たちはどんな確信を洗い流したのだろう。