すべての層が書き込み、読み取る、たった一本の共有レーン。 · Source

箱の塔ではない。すべてが書き込む、たった一本のレーンだ。

私たちはモデルを、各層が次の層へ仕事を渡していく層の積み重ねだと思い描く。そうではない。モデルの全高を貫いて走るのは、ただ一つの共有ベクトル——トークンごとに一本ずつの、数のレーンだ。どの層もこの一本のレーンから読み取り、その答えを再びそこへ書き込む。箱から箱へ手渡されるものは何もない。すべては同じ場所で出会う。

最初の層が見つけたものを、最後の層はどう使うのか?

もし各層が直前の層の声しか聞けないなら、初期の発見は前へ前へと写し続けられることでしか生き残れず——途中でぼやけたものは失われてしまう。伝言ゲームのように:長い列をささやき伝えた一文は、出口では歪んでいる。直し方は、もっと澄んだささやきではない。ささやくのをやめ、どの層にも同じ共有レーンへ書かせることだ。

どの層もレーンを読み、そこに足し、何も消さない。

x_{\ell+1} = x_\ell + F_\ell(x_\ell) \qquad x_L = x_0 + \sum_{\ell=0}^{L-1} F_\ell(x_\ell)

これが要だ。ある層は走り続けるレーン全体を読み、補正を割り出し、それを上に足す——そこにあるものを上書きすることは決してない。一段ずつ積む石垣のように:どの層も前の段の上に自分の段を載せ、何も崩さない。だから完成した壁は、すべての段を足し合わせたものにすぎない。平たく言えば、モデルの最終状態は、出発点のベクトルに各層が書き足した分を加えたものだ。

そのレーンの上では、意味とは一つの方向だ。

\text{write: } x \leftarrow x + a\,\mathbf{u} \qquad \text{read: } s = \mathbf{u}^\top x \qquad x \approx \sum_i a_i\,\mathbf{u}_i

誰もが共有する一つの数の並びの中に、考えをどう収めるのか?方向としてだ。ある特徴を書き込むには、層がある向きを指す小さな矢印を足す。それを読むには、後の層がレーンがその矢印の向きにどれだけ傾いているかを測る。一枚のスクリーンに当てた色とりどりの舞台照明のように:どのランプも同じ壁に自分の色合いを足し、あるランプを読むにはその色がどれだけ現れているかを確かめる。平たく言えば、書き込みは矢印を足し、読み取りは影をとり、レーン全体はそれらの矢印を足し合わせたものだ。

幅の決まった一本のレーン——なのに何千もの考えを運ぶ。

\langle \mathbf{u}_i, \mathbf{u}_j \rangle = 0 \Rightarrow \text{at most } d \text{ directions} \qquad |\langle \mathbf{u}_i, \mathbf{u}_j \rangle| \le \varepsilon \Rightarrow N \sim e^{\,c\,\varepsilon^{2} d}

レーンの幅は決まっている——どの層も、どのヘッドも共有する、決まった数の枠だ。では、枠よりはるかに多くの考えを、どうやって収めるのか?ほぼ——完全にではなく——離して詰め込むのだ。一本の電線にぎゅうぎゅうに止まった鳥たちのように:数羽なら互いに間を空けて止まれるが、ほとんど翼が触れ合うほど並べば、同じ電線がはるかに多くを支える——少しの押し合いと引き換えに。平たく言えば、ちょうど分かれていられる方向はわずかしかないが、ほぼ分かれていられる方向は莫大な数になる。

どの層で止めても、その時点の推測を読み取れる。

p^{(\ell)} = \mathrm{softmax}\!\left( W_U\, x_\ell \right)

レーンは一つの走り続ける総和なので、どの層でも止めて、その作りかけのベクトルをモデルの出力写像に通せば、暫定の答えを読み取れる——それは深くなるほど鮮明になる。現像液の中で浮かび上がる写真のように:像は仕上がるずっと前から読み取れる。ただ、より淡く、より粗いだけだ。平たく言えば、途中までのレーンを、最終的な推測を読むのと同じ写像に通せば、その時点でのモデルの最良の答えが出てくる(最後の一度の再スケーリングを別にすれば)。

つまりモデルは塔ではない。少しずつ晴れていく一つのメッセージだ。

まとめよう。封をされた箱のリレーなどない——あるのはたった一つの流れであり、モデル全体は、最初のベクトルに各層のメモを足し、最後に読み出したものだ。注意機構もフィードフォワードのブロックも、互いに直接は話さない。この共有レーンに印を残すことで話す。これが残差ストリームだ——思考と思考をつなぐ配管ではなく、思考が実際に蓄えられている場所そのものだ。

何も消えない——ただ上に書かれるだけ。それは忘れることなのか?

層が加えるどんな変化も、レーンに足される——決して消されない。ある考えを取り消すには、モデルは手を伸ばして引き抜くことはできず、その正反対を上に書いて二つを打ち消すしかない。元のものはまだそこに、総和の中に埋もれている。🌱 ただ足すことしかできず、決して消せない心にとって、かつて思ったことが本当に消え去ることなどあるのだろうか?