学習とは一つのしつこい命令だ——次はもっと驚くな。 モデルは膨大なテキストの奔流から学ぶが、教えは常に同じだ——次の単語が来たとき、前よりも不意を突かれるな。文法の規則も、与えられた事実もない——あるのは単語ごとに押し下げていく驚きの積算だけ。ゴールキーパーのように:その技のすべては、シュートが衝撃にならないよう、早くプレーを読むことにある。
一つの単語を言うのではない。すべての単語に同時に賭ける。 次の単語を尋ねても、モデルは答えを一つ返さない——語彙全体に確信を振り分け、どの候補にも数値を割り当てる。正解か不正解かでは採点できない。何千もの推測に分散して賭けたのだから。真実に大きく賭けたら報い、外れに大きく賭けたら罰する一つの採点が要る。一握りのダーツのように:盤全体に一度に投げるが、得点を決めるのは的の中心がどこに来るかだけだ。
驚きには公式がある——それがどれほど稀だったかの対数だ。 surprise(x)=−logp(x)\text{surprise}(x) = -\log p(x) ある出来事に確率pを与える。それが起きたとき、あなたの驚きは−log pだ。ほぼ確実だと見て、その通りになる——驚きはほぼゼロ。逆に賭けたのに起きてしまう——驚きは跳ね上がる。晴天の霹靂のように:晴れたままだと安心しきっていたほど、落ちたときの衝撃は大きい。
損失とは、実際に来た単語への驚き、ただそれだけだ。 L=−logqy\mathcal{L} = -\log q_{y} ここが勘どころ。あれだけ賭けても、実際に次に来る単語は一つだけ。罰となるのはその単語への驚き——あなたが与えた確率の−logだ。そこに確信を厚く置けば損失はわずか。痩せさせれば損失は莫大。請求が来たとき、ほかの推測はすべて無視される。料金所のように:どの道も夢に描けるが、支払うのは真実が通り抜ける一つの所だけだ。
なぜ「クロスエントロピー」か——真実に照らして測った驚きだから。 H(p,q)=−∑ipilogqiH(p, q) = -\sum_{i} p_i \log q_i その驚きを、実際に起きるすべてにわたって平均し、各結果を本当に起こる頻度で重みづけすると、クロスエントロピーになる。一語ぶんの罰は運次第。本当の評価は長い目で見た平均だ。長時間露光のように:一枚の瞬間写真は何も語らないが、シャッターを開け続ければ交通量の多い車線がいちばん明るく焼きつく——真の模様がひとりでに描き出される。
驚きを下げることと尤度を上げることは、同じ一手だ。 argminθ −1N∑nlogqθ(yn) = argmaxθ ∏nqθ(yn)\arg\min_{\theta}\; -\frac{1}{N}\sum_{n} \log q_{\theta}(y_n) \;=\; \arg\max_{\theta}\; \prod_{n} q_{\theta}(y_n) 何千もの微小な確率を掛け合わせれば、答えはゼロへ消えてしまう——役に立たない。対数をとれば、積はただ足し合わせればよい驚きの和になる。そして裏返しが自ずと現れる——データを起こりやすくすることは、総じての驚きを小さくすることだ——頂は一つ、名は二つ。深さとともに弱る光のように:一メートルごとに暗さは黒へと掛け算されていくが、メートルを数えれば着実に増えていく——対数こそ正直な物差しだ。
この一つの数こそ目的のすべて——しかも選択肢を数える。 perplexity=eH=exp (−1N∑nlogqθ(yn))\text{perplexity} = e^{H} = \exp\!\left(-\frac{1}{N}\sum_{n} \log q_{\theta}(y_n)\right) あらゆる勾配、十億もの重みへのあらゆる微調整が、この一つのスカラーを押し下げようとする——真実に対する平均の驚きだ。これを指数にとればパープレキシティになる——モデルが実質的に何語のあいだで迷っているか。損失が ln 20 なら、20語から無作為に選ぶのと同じくらい迷っているということ。損失が小さいほど、生きた選択肢は減り、知性は鋭くなる。網状の川のように:水が取れる流路が少ないほど、その流れは迷いがない。
🌱 予期することだけを訓練された心は、本当に驚かせられるのか? 🌱 学習のどの一歩も報いるのはただ一つ——すでに書かれたものに驚かないことだ。だからモデルは過去の最も滑らかな反響へと育っていく。だが、持つに値するアイデアとは、誰も予想しなかったものだ。驚きを最小にするよう造られた心は、結果として正しいたぐいの驚きをいつか生み出せるのか——それともただ永遠に、私たちの文を締めくくるだけなのか?
