モデルは百の知性を宿しながら、単語ごとにほんの数人だけを起こせる。 百人の専門家の知識を一度に抱えるモデルを想像してほしい。妙技はこうだ。どの単語に対しても、ほとんどは眠ったまま。数人だけが目覚めて答えを返し、残りは一度も働かない。広大な倉庫のように:棚の列が暗闇へと消えていき、明かりを灯すのはたった一つの通路の上だけ。抱えるには巨大、使うには安上がり。
ふつうは、どの単語も最後の一つまですべてのパラメータの代金を払う。 Ctoken≈2PC_{\text{token}} \approx 2P ふつうの密なモデルでは、どの単語もすべての重みを通り抜ける——毎回、一つ残らず触れていく。一単語あたりの費用はおおよそ、持っているパラメータ一つにつき二回の演算。だから賢いモデルほど、歩調をそろえて高くつく。能力と費用は溶接されている。フルオーケストラのように:たった一つの静かな音のためにも、全員が全力で鳴り響く。
解決の始まり——一つの大きな塊ではなく、たくさんの小さな塊に。 その一つの大きな処理ブロックを、たくさんの小さなものに割っていく——それらをエキスパートと呼ぶ。それぞれが自由にある専門へと漂っていく。一つはコードへ、別の一つは文法へ、また別の一つは数へ。誰も分担を割り当てない——訓練からおのずと現れる。職人の道具掛けのように:何でもこなす一つの万能道具ではなく、専用の道具がずらりと並んだ壁。どれもが自分の狭い仕事で抜きん出ている。
小さなルーターが各単語を読み、数人のエキスパートを選ぶ。 g=softmax(xWg),y=∑i∈TopK(g, k)gi Ei(x)g = \operatorname{softmax}(x W_g), \qquad y = \sum_{i \in \operatorname{TopK}(g,\,k)} g_i\, E_i(x) 全エキスパートを動かしては元も子もない。そこで小さなルーターが、この一語のためにエキスパートたちを採点し、上位の数人だけを残す——それらが動き、残りは暗いまま。記号で言えば、softmaxで点をつけ、上位k個を取り、答えはその重みづけの混合だ。仕分けラインのように:荷物が振り分け装置に達し、一瞬で読まれ、一本のシュートへ送られる——建物じゅうのすべてのベルトへではなく。
動くのは数人だけ。こうして能力と費用がついに分かれる。 capacity∝N,cost∝k,k≪N\text{capacity} \propto N, \qquad \text{cost} \propto k, \qquad k \ll N ここが妙味だ。エキスパートを増やせばモデルはより多くを知る——その能力は数Nとともに伸びる。だが一語のために動くのはk個だけ。だから計算量はkとともにしか伸びない。百のエキスパートを蓄え、二つを動かす——百倍の知識を、二倍の費用で。蛇口がずらりと並んだ管のように:管の全体に並んでいても、開いたままなのは結局二つだけ。
難点が一つ。ルーターはえこひいきする。だから分け合わせる。 Laux=α N∑i=1Nfi Pi\mathcal{L}_{\text{aux}} = \alpha\, N \sum_{i=1}^{N} f_i\, P_i 放っておくと、ルーターは轍にはまる——同じ数人のエキスパートばかり呼び、残りは一度も訓練されない。そこで小さな公平さの罰則を加える。各エキスパートが受け取った単語の割合に、ルーターがそこへ送った確信の割合を掛け合わせ、負荷が均等に広がったときにだけ最小になる。畑に水を引くように:どの水門も公平な分だけ開ける。さもないと一部の畝は溢れ、残りは乾いてひび割れる。
結果——小さなもののように走る巨人。 すべてを組み合わせれば、ひそかに過激な機械ができあがる——稼働費用の何倍もの広い知識を持つモデルだ。図書館まるごとがメモリに収まり、どの単語も必要な引き出しだけを呼び出し、残りの専門家は呼ばれるまで暗がりで待つ。薬種屋の薬箪笥のように:小さな引き出しがびっしり並んだ壁。手元の処方のために、開けるのはちょうど一つだけ。
🌱 ほんの数人の専門家だけが目覚めるなら、考えているのは誰なのか？ 🌱 エキスパートに分かれた一つの心。どの一つの思考にも灯るのはほんの一握りで——そして静かなルーターがどれを灯すかを決める。では理解は本当はどこに宿るのか。答える専門家たちの側か、それとも誰に尋ねるかを知る選び手の側か。私たちもこう働いている——どの思考にも自分のすべてを呼び出すのではなく、ふさわしい部分だけを。誰を起こすかを知ることこそ、より深い技なのかもしれない。
