いま最良の単語をつかむと、最良の文を逃しかねない理由。
SRC·51
Source
いまの最良の単語が、最良の文を奪うことがある。
モデルは次の単語の確率を渡してくれる。だが文とは、何百もの選択の連続だ。毎回いちばん確率の高い単語をつかめば、自分を袋小路に追い込む。力強い出だしが行き止まりになり、控えめな出だしのほうがはるかに良い展開を開くこともある。いちばん短いレジの列のように:いまいちばん速そうな列に並んだのに、長い列がすいすい進むなか自分はのろのろ。この瞬間の最良が、全体の最良であることはめったにない。
目標は最良の単語ではなく、最良の文だ。
文を全体として採点すると、その確率は各単語の確率をすべて掛け合わせたもの——対数なら、ただ足し合わせたものになる。きらめく一語も、あとで確率が下がる道筋は救えない。鎖の連なりにかかる一つの荷のように:すべての輪が持ちこたえてはじめて鎖は持つ。たった一つの弱い輪が、全重量を落とす。貪欲法は輪を一つずつ最大化するだけで、鎖全体は決して見ない。
貪欲デコード:最上位の単語を取り、そのまま確定する。
最も単純なやり方は、各ステップで最も確率の高い単語を一つ取る——速く、確実で、そして盲目だ。先を見ることも、何かを取り消すこともない。ボールペンで書くように:選んだ瞬間に各単語はインクで刻まれる。だから自信ありげな出だしが三語先で自分を追い詰めても、罠にかけた選択を消すすべはない。文ではなく、各ステップを最適化しているのだ。
では、全部の文を試せばいい? その数を見てほしい。
貪欲法が近視眼的すぎるなら、全部の文を探して最良を選べばいい? 数が爆発するからだ。どの枠にも数万語のどれもが入りうるので、候補は語彙数を文の長さ乗したぶんだけ増える。ありうるすべての本をそろえた図書館のように:たった二十語の返答ですら、観測可能な宇宙の原子より多くの版を持つ。すべてを調べることはできない。
ビームサーチ:一つだけでなく、上位いくつかを生かし続ける。
中間の道は、各ステップで上位B本の部分文を生かし続ける。それぞれを次のあらゆる単語で延ばし、すべてを採点し、上位B本まで刈り込む——そして繰り返す。苗を間引くように:たくさん植え、各段階で最も強い数本を残して他はすべて抜き、生き残りを育てていく。先を読みたければビームを広げればいい。B = 1 なら、ふたたびただの貪欲法だ。
落とし穴が一つ:こっそり短い文を好んでしまう。
余分な一語ごとに、1より小さい確率がもう一つ掛かる。だから長い文ほどつねに点が低くなり——素のままだと、ビームサーチは答えを短く切り詰める。直し方は、合計を長さで割って、総和ではなく一語あたりの平均で測ることだ。長い演技を採点するように:技が多ければ揺らぐ機会も増えるから、ミスの総数を数えるのではなく、一技あたりで評価する。こうして、長く誠実な文も公平に競える。
正直な落とし穴:最も確からしいものが、最良とは限らない。
探索を十分に推し進めると、意外なことが起こる——最も確率の高い一文は、平板で、ありきたりで、ときに同じ言葉を繰り返すことすらある。確からしさと良さは別の軸だ。いちばん無難なベージュのように:誰も不快にさせない色は、誰の記憶にも残らない色だ。だから精密な作業は最も確からしいものを探索し、開かれた創造的な作業はかわりに意外な一手をサンプリングする——同じ確率の、二通りの読み方だ。
🌱 最も確率の高い文が、最良の文であることはあるのか?
探索は最も確からしい単語を追う。そして最も確からしい単語は、しばしば最も退屈な返答をつくる。最も安全な道と最良の道は同じ道ではない——そして、つねに最も確からしい道を歩むモデルは、記憶に残る何かを言う見込みが最も低いのかもしれない。最も確率の高い文が最も忘れやすい文だとしたら、私たちはいったい何を最大化していたのだろう?
タップ →↑スワイプで詳しく↓スワイプで終了クリックまたは → で次へ↑ で詳しくesc で終了