小さなモデルが巨大モデルの技をどう受け継ぐか。 · Source

小さなモデルでも巨大モデルの仕事ができる——巨大モデルから学べば。

最良のモデルは大きすぎて、必要な場所で動かせないことが多い——遅すぎ、高くつきすぎる。だから小さくする。だがコツはこうだ。小さいモデルはデータから学ぶのではない。巨大モデルそのものから学ぶ。師が選択をどう見極めるかは、どんな模範解答よりも多くを教える。

模範解答は大ざっぱな教師だ。

\mathbf{y} = \mathbf{e}_c,\qquad y_i = \mathbb{1}[\,i = c\,] \in \{0,1\}

素朴なラベルはひと言——「犬」——と言い、ほかすべてを等しく誤りとする。狼も腕時計も同じゼロだ。言いかえれば、目標値は正解で1、それ以外はすべて0——「惜しい」と言う余地がない。硬貨の選別機のように:ひとつだけ残し、あとはまとめて一つの排出口へ。よく似たものも異物も、一緒くたに捨てられる。

巨大モデルは「犬」とは言わない。どれだけ確信があるかを言う。

p_i = \dfrac{e^{z_i}}{\sum_j e^{z_j}}

巨大モデルに尋ねると広がりが返る——犬92%、狼7%、車1%。この形は隠れた地図だ。犬が狼のすぐ隣、車から遠くにあると示す。教えを運ぶのは誤答のほうだ。蹄鉄投げのように:杭に掛かった一投が点になるが、どれが惜しく寄り、どれが大きく外れたかも見える。言いかえれば、生のスコア z は一人の勝者ではなく、確率の一揃いになる。

熱を上げて、ささやきを聞く。

p_i^{(T)} = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

その1%の手がかりは小さすぎて学べない。だから広がりをやわらげる。確率にする前に、各スコアを温度 T で割るのだ。T を1より上げると、かすかな推測が聞こえる高さまで立ち上がる。ブランデーのグラスを温めるように:わずかな熱が、冷たいままでは決して気づけない繊細な香りを引き出す。言いかえれば、T が大きいほど曲線は平らになり、小さな確率が意味を持つようになる。

今度は小さいモデルが曲線まるごとを写し取る。

\mathcal{L}_{\text{soft}} = -\sum_i p_i^{(T)} \log q_i^{(T)} = D_{\mathrm{KL}}\!\left(p^{(T)} \,\|\, q^{(T)}\right) + H\!\left(p^{(T)}\right)

生徒を、教師のやわらげた広がりに合わせて訓練する——むき出しの答えではなく、形そのものを、一点ずつ。合鍵を削り出すように:未加工の鍵を、元の鍵の山ひとつひとつに沿って、刻みごとに削る。言いかえれば、生徒のやわらげた推測 q を教師の p へ引き寄せる。教師の側は固定だから、隙間を詰めるとは、二つの曲線のあいだのずれを縮めることにほかならない。

師を信じよ——だが片足は真実に置いておけ。

\mathcal{L} = \alpha\,T^2\,\mathcal{L}_{\text{soft}} + (1-\alpha)\,\mathcal{L}_{\text{hard}}

巨大モデルを忠実に写しすぎれば、その誤りまで受け継ぐ。だから混ぜる。やわらかな教えへ α、本物の硬い答えへ (1−α) の重みをかける。ひとつ細かい点——やわらかい側には T² を掛ける。やわらげたぶん、その引きがちょうどそれだけ弱まったからだ。先導者と支点の両方にザイルで結ばれて登るように:前を行く者へ手を伸ばしつつ、足もとの硬い岩にも確保し続ける。

大きさはほんの一部。技はほぼそのまま。

C_{\text{token}} \approx 2P \;\Rightarrow\; \dfrac{C_{\text{student}}}{C_{\text{teacher}}} \approx \dfrac{P_{\text{student}}}{P_{\text{teacher}}} \ll 1

出来上がるのは、本当に動かせるモデルだ——重さは十分の一、一語あたりの費用も十分の一——なのに巨大モデルの技をほぼそのまま備える。より多くのデータを見たからではない。巨大モデルが世界をどう見極めるかを受け継いだからだ。蒸留器のように:大樽いっぱいのもろみを、小さな一本へ煮詰める——量ははるかに少なく、性格は同じまま、凝縮されて。言いかえれば、一語あたりの費用はパラメータ数 P に従う。だからパラメータが十分の一なら、費用もおよそ十分の一だ。

それが学んだのは答えだけでなく、迷いだった。

🌱 小さいモデルが最もよく学んだのは、巨大モデルのためらいからだった——狼7%、車1%——確信に満ちた一つの答えが切り捨てるすべてから。では、どんな師も、ただ一つの返答には決して収まらない何を、本当に知っているのか。そして教えが初めから迷いだったのなら、澄んで確かな答えは、静かに何を隠しているのか。