いま最良の単語をつかむと、最良の文を逃しかねない理由。 · Source

いまの最良の単語が、最良の文を奪うことがある。

モデルは次の単語の確率を渡してくれる。だが文とは、何百もの選択の連続だ。毎回いちばん確率の高い単語をつかめば、自分を袋小路に追い込む。力強い出だしが行き止まりになり、控えめな出だしのほうがはるかに良い展開を開くこともある。いちばん短いレジの列のように:いまいちばん速そうな列に並んだのに、長い列がすいすい進むなか自分はのろのろ。この瞬間の最良が、全体の最良であることはめったにない。

目標は最良の単語ではなく、最良の文だ。

P(y_{1:T}\mid x)=\prod_{t=1}^{T} p(y_t\mid y_{<t},x),\qquad \log P=\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x)

文を全体として採点すると、その確率は各単語の確率をすべて掛け合わせたもの——対数なら、ただ足し合わせたものになる。きらめく一語も、あとで確率が下がる道筋は救えない。鎖の連なりにかかる一つの荷のように:すべての輪が持ちこたえてはじめて鎖は持つ。たった一つの弱い輪が、全重量を落とす。貪欲法は輪を一つずつ最大化するだけで、鎖全体は決して見ない。

貪欲デコード:最上位の単語を取り、そのまま確定する。

y_t=\arg\max_{w\in V}\ p(w\mid y_{<t},x)

最も単純なやり方は、各ステップで最も確率の高い単語を一つ取る——速く、確実で、そして盲目だ。先を見ることも、何かを取り消すこともない。ボールペンで書くように:選んだ瞬間に各単語はインクで刻まれる。だから自信ありげな出だしが三語先で自分を追い詰めても、罠にかけた選択を消すすべはない。文ではなく、各ステップを最適化しているのだ。

では、全部の文を試せばいい? その数を見てほしい。

|V|^{T}\quad\text{(e.g. } 50000^{20}\approx 10^{94}\text{ sequences)}

貪欲法が近視眼的すぎるなら、全部の文を探して最良を選べばいい? 数が爆発するからだ。どの枠にも数万語のどれもが入りうるので、候補は語彙数を文の長さ乗したぶんだけ増える。ありうるすべての本をそろえた図書館のように:たった二十語の返答ですら、観測可能な宇宙の原子より多くの版を持つ。すべてを調べることはできない。

ビームサーチ:一つだけでなく、上位いくつかを生かし続ける。

s(y_{1:t})=\sum_{\tau=1}^{t}\log p(y_\tau\mid y_{<\tau},x),\qquad \mathcal{B}_t=\text{top-}B\ \text{of}\ \mathcal{B}_{t-1}\times V

中間の道は、各ステップで上位B本の部分文を生かし続ける。それぞれを次のあらゆる単語で延ばし、すべてを採点し、上位B本まで刈り込む——そして繰り返す。苗を間引くように:たくさん植え、各段階で最も強い数本を残して他はすべて抜き、生き残りを育てていく。先を読みたければビームを広げればいい。B = 1 なら、ふたたびただの貪欲法だ。

落とし穴が一つ:こっそり短い文を好んでしまう。

s_{\text{norm}}(y)=\frac{1}{T^{\alpha}}\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x),\qquad 0\le\alpha\le 1

余分な一語ごとに、1より小さい確率がもう一つ掛かる。だから長い文ほどつねに点が低くなり——素のままだと、ビームサーチは答えを短く切り詰める。直し方は、合計を長さで割って、総和ではなく一語あたりの平均で測ることだ。長い演技を採点するように:技が多ければ揺らぐ機会も増えるから、ミスの総数を数えるのではなく、一技あたりで評価する。こうして、長く誠実な文も公平に競える。

正直な落とし穴:最も確からしいものが、最良とは限らない。

\hat{y}=\arg\max_{y}\ p(y\mid x)\quad\text{vs}\quad y\sim p(\,\cdot\mid x)

探索を十分に推し進めると、意外なことが起こる——最も確率の高い一文は、平板で、ありきたりで、ときに同じ言葉を繰り返すことすらある。確からしさと良さは別の軸だ。いちばん無難なベージュのように:誰も不快にさせない色は、誰の記憶にも残らない色だ。だから精密な作業は最も確からしいものを探索し、開かれた創造的な作業はかわりに意外な一手をサンプリングする——同じ確率の、二通りの読み方だ。

🌱 最も確率の高い文が、最良の文であることはあるのか?

探索は最も確からしい単語を追う。そして最も確からしい単語は、しばしば最も退屈な返答をつくる。最も安全な道と最良の道は同じ道ではない——そして、つねに最も確からしい道を歩むモデルは、記憶に残る何かを言う見込みが最も低いのかもしれない。最も確率の高い文が最も忘れやすい文だとしたら、私たちはいったい何を最大化していたのだろう?