一度見たパターンを、モデルはどう続けるのか。 · Source

パターンを一度見れば、あとは続きを埋めてくれる。

「A の次に B」を一度だけ見せる。数語あとに「A の次に ___」が来ると、Bを当てる——ほんの数秒前、この文章の中で覚えたパターンだ。編み物のように：すでに針にかかった段に目をやれば、次の一目はほぼ決まっている。新しい学習も、蓄えた知識もいらない——目の前の流れを、ただ続けるだけ。これがその場で学ぶ仕組みの小さな心臓部だ。

最初の仕掛け：どの位置にも、直前のものを刻む。

A^{\text{prev}}_{ij}\approx \mathbb{1}[\,j=i-1\,],\qquad h^{\text{prev}}_{i}\approx W_{OV}\,x_{i-1}

A の後に来たものを写すには、まずどの位置も自分の直前に何が来たかを知っている必要がある。そこで早い層のヘッドが地味な仕事をひとつこなす——きっかり一歩だけ後ろを見て、その隣を前へ運ぶ。測量士のように：新しい杭は一つ前の杭を見返して定める。だからどの点も、自分の直前のものを静かに記録する。平たく言えば：すぐ後ろのマスだけに注目し、そのトークンを今の位置に刻みつける。

次に：このトークンが前に現れた場所を探す。

A^{\text{ind}}_{ij}=\operatorname{softmax}_{j}\!\left(\frac{q_i^{\top}k_j}{\sqrt{d}}\right)\ \text{peaks where}\ t_{j-1}=t_i

ここで二つ目のヘッドが狩りに出る。今いる語での問いはこうだ——「この同じトークンに先立たれていたのはどこか？」。あの刻みのおかげで、直前が一致するただ一つの場所——このトークンが前に出たすぐ後ろの位置——に狙いを定める。ブラッドハウンドのように：一つの匂いだけを携え、野原のすべてを無視し、一致するただ一点でぴたりと止まる。平たく言えば：今のトークンの前の出現に続いていたトークンを狙う。

狙いを定めたら、そのトークンを出力へ写す。

\hat{t}_{i+1}=t_{j^{\star}},\qquad j^{\star}=\arg\max_{j} A^{\text{ind}}_{ij},\qquad \operatorname{diag}\!\big(W_{U}W_{OV}W_{E}\big)\gg 0

場所が見つかったら、ヘッドは当然のことをする——そのトークンそのものを、まっすぐ予測へ写す。見たものに票を入れる——だからBが出てくる。前回 A に続いた語だ。パンタグラフのように：一方の腕が原型をなぞり、もう一方が一筆ごとに忠実な複製を彫り出す。平たく言えば：コピー回路は、注目したまさにそのトークンのロジットを押し上げる。

言葉は覚えていない——覚えたのは「繰り返せ」という規則だけ。

ここに静かな驚きがある：この回路は A も B も蓄えていない。写すのは関係——「前回続いたものを、もう一度言え」——だから、出会ったことのない記号でも、今この瞬間にでっち上げた無意味な組でも、厳密でないおおよその一致にさえ反応する。ワッフル焼き型のように：味わったことのないどんな生地を流し込んでも、同じ模様が押し出される。トークンは取り替えがきく。固定されているのは規則だけだ。

じわじわとは現れない。ある瞬間、ふいにそこにある。

学習の途中でこれが形づくられる様子を見ても、ゆるやかな立ち上がりは見えない。長いあいだ——何もない。それから狭い窓の中で、二つのヘッドがカチリとはまり、プロンプトから学ぶモデルの腕前がそれとともに跳ね上がる。古い機関のように：クランクを回しても回しても、まったくの沈黙、そして一気に火が入って動き出す。正直な但し書き：この突然の跳ねはその能力の大半ではあるが、すべてだと証明されてはいない。

この小さな二人組が、その場で学ぶ力を支えている。

一歩引くと、その規模に驚く——「いくつかの例から課題をつかんだ」の大きな部分が、この「続きを写す」回路ひとつに乗っている。モデルは蓄えた知識に手を伸ばしているのではない——目の前のテキストに、小さな照合の技をかけているだけだ。要石のように：ささやかな楔形の石ひとつ、それゆえにアーチ全体が立つ。抜けば、その渡りは崩れ落ちる。

🌱 新しい考えに出会うとは、それが前に起きた場所を探すだけのことか？

新しい指示を理解することの多くは、結局これに尽きる——これが前に起きた最後の時を見つけ、その次に来たものをなぞる。風見鶏のように：風がすでに定めた向きへ、ふたたび落ち着く。新しいものを読むことが、たった今見た先例をたどり直すことばかりなら——それは理解なのか、それともほんの少し前の、とても速い記憶なのか？