ひとつの賞金の壺と、その奇妙な分け方 村の料理コンテストの夜。五人の料理人、湯気の立つ五つの鍋、そして分け合う硬貨の詰まった鉄の壺がひとつ。今年は審査員なし——群衆の歓声が賞金を切り分ける。真夜中、ほんの少し上手なだけの料理人がほぼすべてを手にし、それでも焦げたシチューにも硬貨が二枚。通りはひそかに、どんな規則で動いていたのか?
生のスコアは分け前に向かない 味見役に各皿の採点を頼めば、返ってくるのは尺度もばらばらの数字だ——このシチューは3、あちらは0未満。料理人に負の分け前は渡せないし、互いを無視した分け前は壺ひとつ分に足し上がらない。公平な分配には、どの取り分も正で、合計がちょうど1になることが要る。そして歓声は、その変換をひとりでにやってのける。
歓声は歓声を呼ぶ 通りの仕組みを見てみよう。どの料理人も最初は数人の常連から始まるが、新しく来た人はすでに一番騒がしい屋台へ流れていく——歓声は一晩じゅう自らに複利で積み上がる。一段だけ上等な皿が集めるのは、一段分多い音ではない。その人垣は倍々で増え続ける。スコアを一歩上げれば、どよめきは足し算ではなく掛け算になる。そして壺は、ただそのどよめきに従う。
取り分は、自分のどよめき÷通り全体のどよめき pj=ezj∑kezkp_j = \frac{e^{z_j}}{\sum_k e^{z_k}} 村の規則のすべてが、この一行にある。生のスコアをそれぞれ指数関数で膨らませ——それが複利で増える群衆だ——通り全体のどよめきで割る。素直に読めばこうなる。どの取り分も正になり、全部合わせるとちょうど1個の壺になる。では、この小さな指数が二人の料理人のわずかな差に何をするか、見てみよう。
紙一重の腕前が、雪崩のような硬貨に どの二人を比べても、分配が見るのはただ一点——スコアの差だけだ。一段違えば、一方の取り分はもう一方のほぼ3倍。三段違えば20対1。指数の下では惜しいは報われない——ほぼ最高の皿でも大差で負ける。だからこそ、焦げたシチューの結末がいっそう不思議に見えてくる。
誰ひとり、ゼロでは帰らない 焦げたシチューへの歓声はささやき程度——だが、ささやきは沈黙ではないし、指数関数は決してゼロには届かない。どの料理人も何かを手にして帰る。この分配規則こそsoftmaxだ。生のスコア——logits——が、全体で1になる正の取り分に変わる。言語モデルも一手ごとにこうして締めくくり、あり得る次の単語すべてに確信を配り、何ひとつ切り捨てない。村には、まだひとつ問いが残っている。
🌱 歓声のつまみは、誰が握るべきか? 村が、歓声の複利の激しさを調整できるとしたら。弱めれば取り分は均等へとならされ——全員が食べられるが、誰も本当には讃えられない。強めれば勝者がほぼ総取りし——大胆だが、もろい。あらゆるコンテストも、市場も、次の単語を選ぶあらゆるモデルも、そのつまみのどこかに立っている。あなたなら、どこに合わせる?
