一語も読み返さずに、本を丸ごと読む。 アテンションはすべての語を互いに照らし合わせて読み返す。文章が2倍なら手間は4倍。だが別の道がある。ひとつの動く状態を持ち運ぶ——小さく固定された要約だ——そこへ新しい語を次々と織り込んでいく。振り返りも、膨らむ格子もない。ページがどれだけ長くても、コストは平らなまま。問いはこう変わる——何を残す価値があるのか？
すべての語を保つな。動く要約をひとつ保て。 もう一方の道は、たった一手だ。すべての語をしまい込んで総当たりで比べる代わりに、ひとつの状態——コンパクトな動く要約——を保ち、新しい語をそこへかき混ぜていく。継ぎ足し続ける寸胴鍋のように：毎回すべての食材を並べ直したりしない。新しいものを溶かし込み、味をみる。鍋はここまでの料理のすべてを、一か所に抱えている。
機械の全部が一行に：薄れ、足し、読む。 ht=A ht−1+B xt,yt=C hth_t = A\,h_{t-1} + B\,x_t,\qquad y_t = C\,h_t 状態は単純な規則で更新される。各ステップで、古い状態は少し薄れ（Aの項）、新しい語が足し込まれ（Bの項）、そして報告するのは状態の読み出し（Cの項）だ。峡谷のこだまのように：新しい叫びは、それまでのすべての叫びがやわらかく薄れていく残響に加わる——耳が捉えるのは、その混ざり合いだ。
規則を固定すれば、ひとつの動かぬフィルタになる。 yt=∑k=0tCAkB xt−k=(K∗x)t,Kk=CAkBy_t = \sum_{k=0}^{t} C A^{k} B\,x_{t-k} = (K * x)_t,\qquad K_k = C A^{k} B A, B, C が決して変わらないなら、漸化式を展開すると、入力全体の上を滑るひとつのフィルタへと畳み込まれる——一度にまとめて計算でき、目もくらむほど速い。だが代償がある：速度の固定されたエスカレーターのように、どの語も同じペースで運んでしまう。埋め草を急がせることも、肝心の一語にとどまることもできない。速いが、盲目だ。
跳躍：何を残すかを、語そのものに決めさせる。 Δt, Bt, Ct=f(xt),ht=Aˉt ht−1+Bˉt xt,Aˉt=exp(ΔtA)\Delta_t,\,B_t,\,C_t = f(x_t),\qquad h_t = \bar{A}_t\,h_{t-1} + \bar{B}_t\,x_t,\quad \bar{A}_t = \exp(\Delta_t A) さて、本当のからくりだ。ゲートを語そのものに依存させる：どれだけ書き込むか（B）、どれだけ速く忘れるか（刻み幅 Δ）、何を読み出すか（C）——すべて入力の関数にする。波を一つひとつ読むサーファーのように：小さなうねりは下をくぐらせ、乗る価値のある一本には全力で漕ぐ。モデルはいまや、一語ごとに、何を覚える価値があるかを選ぶ。
選択性が近道を壊した。走査がそれを取り戻す。 (Aj, bj)⊕(Ai, bi)=(AjAi, Aj bi+bj)⇒O(logn) depth(A_j,\,b_j)\oplus(A_i,\,b_i) = (A_j A_i,\;\, A_j\,b_i + b_j)\quad\Rightarrow\quad O(\log n)\ \text{depth} 語に舵を取らせるということは、もはや単一の固定フィルタが存在しないということ——だから一度にまとめる近道は消える。だがそのステップはなお結合的だ：「薄れて足す」二つの区間を合わせると、同じ種類の一区間になる。ならば対にして並列に併合すればいい。勝ち抜きトーナメントのように：まるごとの回戦が一度に決し、王者はほんの数回戦で決まる——一試合ずつではなく。
コストは線形——そして決して膨らまない記憶。 time O(n d N),state size O(d N) (fixed in n)vs. attention O(n2d)\text{time } O(n\,d\,N),\qquad \text{state size } O(d\,N)\ \text{(fixed in } n)\qquad \text{vs. attention } O(n^2 d) 勘定を合わせよう。手間は長さに対して一直線に伸びる——その二乗ではなく。そして生成時に持ち運ぶのはサイズの固定された状態ひとつだけ——会話がどれだけ長くなろうと、ためこんだ履歴のように膨れ上がることはない。綱渡りのバランス棒のように：十歩目でも一万歩目でも、手にあるのは同じ一本の棒。長さはもう壁ではなくなる。
残すのは要約——過去そのものではない。 総当たりの読み手は、すべての語を保ち、いつでも振り返れる。こちらが保つのは、移ろいゆく状態ひとつだけ——そして各語が届いた瞬間に、何を織り込み、何を薄れるにまかせるかを決めねばならない。忘れたことを取り消すことは、決してできない。🌱 心が、見たその瞬間に何を残すかを選び、生の過去を二度と訪れないなら——それが抱えているのは記憶なのか、それとも、何が大切だったかについて自らに語った物語にすぎないのか？
