小さなモデルが下書きし、大きなモデルは確認するだけ——同じ言葉を、はるかに速く。 · Source

巨大モデルは一語ずつ書く。もしそうしなくてよいとしたら?

巨大モデルが遅いのは理由がひとつ。一度に一語ずつ書き、その一語ごとに数十億のパラメータをまるごと通り抜けるからだ。鉛筆の下書きの上から墨を入れる師匠のように:素早い手が次の数語をざっと描き、師匠はよい線を認め、残りを直すだけ。仕上がる線は同じ——かかる時間はわずか。

なぜそんなに遅い? どの語も、前の語を待たねばならない。

\text{latency}\approx n\times t_{\text{pass}}

巨大モデルは自分の先回りができない。十番目の語を書くには九番目が要り、九番目は八番目を要した——一本の糸、飛ばしはきかない。板を渡して橋を架けるように:次の板は、前の板の上に立ってこそ打ちつけられる。だからn語は巨大モデルを通るn回の往復、厳密に一回ずつ順番に——そしてチップはその往復のほとんどを、ただ待って過ごす。

第一手:小さく速いモデルに、次の数語を当てさせる。

羽のように軽いモデルを呼ぶ——ずっと小さく、ずっと速く、たいてい当たる。次のひと握りの語をまばたきの間に当てさせよう。逃げに出た自転車選手のように:軽い走者が集団の前へ飛び出し、先の道を伝える。その推測は安上がりで、時に外れる——それでいい。あくまで提案であり、確認を待つだけだ。

仕掛け:巨大モデルが、すべての推測を一度の処理で確認する。

T_{\text{check}}(\gamma{+}1)\approx T_{\text{pass}}(1)

ここが採算の分かれ目だ。巨大モデルは一度の処理で、ずらりと並んだ位置をまとめて採点できる——γ個の推測に自分の次の語を加えて——ほぼ一語ぶんの値段で。監視塔のライフガードのように:ひと目の走査で、混み合った浜辺すべてが視界に入る。なぜほぼ無料か。遅いのは巨大モデルの重みをチップへ運び込むことであって、計算ではない——だから数語の余分は、ほとんどタダで相乗りする。

規則:巨大モデルが同意する限り、その推測を採る。

\text{keep } x\sim q \ \text{ with probability } \ \min\!\left(1,\ \frac{p(x)}{q(x)}\right)

推測を左から右へたどる。ある語に対する巨大モデルの確率をp、下書きの確率をqとする。巨大モデルが少なくとも同じだけ好む(p ≥ q)なら、その推測はそのまま採る。より低く見るなら、p/qの割合でだけ採る。最初に外れた推測で——止めて、残りは捨てる。ファスナーのように:歯はひとつずつ滑らかにかみ合い、列を外れた最初の歯でぴたりと噛んで止まる。

魔法:はじかれた推測は、捨てるだけでなく、直される。

p'(x)=\dfrac{\big(p(x)-q(x)\big)_+}{\sum_{x'}\big(p(x')-q(x')\big)_+},\qquad \min\big(p,q\big)+\big(p-q\big)_+=p

推測がはじかれても、巨大モデルは立ち止まらない——自分が望んだものと下書きが差し出したものとの差から、ちょうど代わりを一つ引く。その補正を足し戻すと、小さな奇跡が落ちてくる:吐き出される語はどれも、巨大モデル単独が生むはずだった分布そのままに従う。U字管の水のように:低い側を注ぎ足せば、水位は正しい目盛りぴたりに落ち着く。より速く、しかも証明つきで無損失——近似ではない。

見返り:巨大モデルの一度の処理で、数語まとめて。

\mathbb{E}[\#\text{tokens}]=\frac{1-\alpha^{\,\gamma+1}}{1-\alpha}

稼ぎを数えよう。下書きがγ語を出し、αの割合で当たるなら、巨大モデルの一度の処理は平均してこれだけの語を生む。小さなモデルがたいてい当たるときは、確認一回あたりγ+1語近くを手にする。たいてい外すときは、ただ一語に戻るだけ——それより悪くはならない。平たい石を水切りするように:一投が、何度も何度も水面を打つ。一度の処理で、数語。

🌱 二つの心がこの道を引いた。決めたのは、どこでだ?

速い当て手と遅い巨大モデルが、二つで、巨大モデルが単独で書いたはずの語をそっくりそのまま生み出す。では、考えていたのはどちらだ? 一本に合流する二つの小道のように:あなたが歩む道は一筋で確かだ——なのに、それを引いたのは二人。素早い当て推量と注意深いうなずきが、注意深い心ひとりと寸分たがわぬ答えを出すなら、その選びはどこにあったのか——跳躍の中か、それとも確認の中だけか?