なぜモデルは、ほとんど読みもしない最初の単語に注意を注ぎ込むのか。 · Source

モデルは、ほとんど読みもしない最初の単語に注意を浴びせる。

モデルがどこを見ているかを追うと、最初の単語へ注意の洪水を注いでいるのに気づく——ほとんど中身のない単語にだ。これは不具合ではない。避雷針のように：無害な突起を立てて雷を受け止め、嵐は残りを壊さずに通り過ぎる。モデルは、要らない注意を捨てておく場所を確保しているのだ。

softmax は、何もなくても、まるごと一単位を配り切らねばならない。

\alpha_j=\dfrac{e^{s_j}}{\sum_{k=1}^{t}e^{s_k}},\qquad \sum_{j=1}^{t}\alpha_j=1,\quad \alpha_j>0

注意は softmax を通る。生のスコアを、すべて正で合計がちょうど1になる重みに変える仕組みだ。だから各単語は、見える単語にまるごと一単位の注意を使い切らねばならない——どれも重要でなくてもだ。空にし切る如雨露のように：最後の一滴まで、すでに濡れた土であっても、どこかに落とすしかない。

そこでモデルは、使えない注意のための排水口をつくる。

ある単語がまるごと一単位を使わねばならないのに見るべきものが何もないなら、余りはどこへ行くのか。モデルの解は、一か所を選んでそこを排水口にすることだ。洗面台のオーバーフローのように：器に収まりきらない分を静かに流し去り、あふれさせない。この捨て場こそがアテンション・シンク——この仕掛けの名前の由来そのものだ。

どの単語が排水口になるのか。いちばん最初の単語だ。

\mathcal{V}_t=\{1,2,\dots,t\},\qquad \bigcap_{t=1}^{n}\mathcal{V}_t=\{1\}

なぜ最初の単語なのか。モデルの読み方のせいだ——各単語は、自分より前の単語しか見られない。だから最初のトークンは、あとに続くすべての単語がつねに見られる唯一のキーになる。一本の幹のように：どの枝をたどっても、行き着く根は同じだ。最初の単語は、すべてが届く唯一の場所——自然な排水口なのだ。

そこへ捨てても無害だ——ほとんど何も返ってこないから。

o_t=\sum_{j=1}^{t}\alpha_{tj}\,v_j,\qquad \alpha_{t1}\ \text{large},\ \ v_1\ \text{carries little}\ \Rightarrow\ \text{near no-op}

なぜ、その無駄な注意が答えを壊さないのか。単語の出力は、注意を向けた値のブレンドだからだ——そしてシンクの値はほとんど信号を持たない。注意を注ぎ込んでも、出てくるものはほぼ無い。スタジオの吸音フォームの壁のように：叫んでも、こだまは返らない。シンクは余りを吸い込み、何も変えない。

長い対話を流し続けるなら、シンクを決して捨ててはならない。

\underbrace{\{1,\dots,k\}}_{\text{sinks}}\ \cup\ \underbrace{\{t-w+1,\dots,t\}}_{\text{recent window}}\qquad (k\approx 4)

メモリを抑えるため、モデルは窓をずらして最も古い単語を忘れていける。だがシンクを忘れると、出力は意味をなさず崩れ落ちる。対処は単純だ——最初の数トークンと、直近の窓を、つねに残しておく。アーチの要石のように：ほかの石はどれも入れ替えられるが、その一個を抜けば、全体が崩れる。

より澄んだ解：注意の合計が1未満になることを許す。

\alpha_j=\dfrac{e^{s_j}}{1+\sum_{k}e^{s_k}},\qquad \sum_{j}\alpha_j=\dfrac{\sum_{k}e^{s_k}}{1+\sum_{k}e^{s_k}}<1

もし単語が、ただ注意を差し控えられたら？ softmax の分母に +1 をひとつ足す——スコア0の見えない枠だ——すると重みの合計は1未満になってよい。こうして単語は、排水口を発明せずとも、何にも注意を向けない選択ができる。ダムの脇の余水路のように：余りを無害に、どこへともなく流すために、わざわざ造られた水路だ。

要らないもののために場所を作った。それは欠陥だったのか。

私たちはあやうくシンクを不具合と呼ぶところだった——読みもしない注意に溺れる単語、と。だが実は、モデルが静かに無を置く場所をこしらえ、残りを清く保っていたのだ。🌱 私たちが欠陥と呼ぶもののうち、どれだけが、実は心が場所を空けているのだろう——ただないを意味する、空白を残して。