勉強した問題は全問正解、初めての問題は全問不正解。 モデルは学習したデータでは満点を取れても、見慣れないものが来た途端につまずく。その差こそが核心だ。丸暗記は理解ではない。一本の道順を覚えるようなもの:樫の木で左、赤い納屋で右——その道では完璧でも、最初の迂回路で迷う。本当の試験は、走ったことのない道のほうだった。
採点は過去で、評価は未来で。 R^(f)=1n∑i=1nℓ (f(xi),yi)R(f)=E(x,y)∼D [ℓ(f(x),y)]gap(f)=R(f)−R^(f)\begin{aligned} \hat{R}(f) &= \tfrac{1}{n}\sum_{i=1}^{n}\ell\!\big(f(x_i),y_i\big) \\ R(f) &= \mathbb{E}_{(x,y)\sim\mathcal{D}}\!\big[\ell(f(x),y)\big] \\ \text{gap}(f) &= R(f) - \hat{R}(f) \end{aligned} 見える誤差は訓練データ上のもの。本当に大事な誤差はまだ出会っていないすべての上にあり、それは直接は測れない。両者のあいだの隔たりが汎化ギャップだ。身内だけで紅白戦をするチームのように:自分たちの癖は知り尽くしても、本当の勝敗は一度も対戦したことのない相手とのあいだで決まる。
間違え方は二通り——片方を治すと、もう片方が育つ。 E[(y−f^(x))2]=(Bias[f^(x)])2⏟too simple+Var[f^(x)]⏟too eager+σ2⏟irreducible\mathbb{E}\big[(y-\hat{f}(x))^2\big] = \underbrace{\big(\text{Bias}[\hat{f}(x)]\big)^2}_{\text{too simple}} + \underbrace{\text{Var}[\hat{f}(x)]}_{\text{too eager}} + \underbrace{\sigma^2}_{\text{irreducible}} 単純すぎれば、モデルは本当の形を取り逃す——これがバイアス。熱心すぎれば、ランダムな揺らぎまでなぞる——これが分散。全体の誤差はこの二つの和、さらに決して打ち消せないノイズが乗る。漁網の目のように:粗すぎれば獲物はすり抜け、細かすぎれば泥や藻まで魚と一緒に引き上げる。妙味はその中間の編み目にある。
手元の例は真実を運ぶ——偶然にくるまれて。 どんなデータも、本物のパターンに加えて偶然の霧がかかっている——ラベルの誤り、まぐれ、どの例をたまたま集めたかという運。余地を与えすぎれば、モデルは偶然まで覚え込み、それを規則と取り違える。一本の海賊版ライブ録音で曲を覚えるように:巻き戻しすぎると、客席の咳やテープのヒスノイズまで音符のように『覚えて』しまう。
ちょうど良い点を越えると、力は静かに牙をむく。 R(f)−R^(f) ≲ CnR(f) - \hat{R}(f) \;\lesssim\; \sqrt{\dfrac{C}{n}} 容量を足すと訓練誤差は下がり続ける——が、新しいデータでの誤差は下がり、底を打ち、また上がる。当てはめる余地が増えるほど、丸暗記の余地も増える。古典的な上界はこう言う:ギャップは複雑さとともに増え、データとともに減る。テーブルをやすりがけするように:数回なら木目が引き立つが、同じ場所を削り続ければ、へこみを彫って台無しにする。
唯一誠実な審判は、一度も見たことのない問題だ。 R^test(f)=1m∑j=1mℓ (f(xj),yj),E[R^test(f)]=R(f)\hat{R}_{\text{test}}(f) = \frac{1}{m}\sum_{j=1}^{m}\ell\!\big(f(x_j),y_j\big), \qquad \mathbb{E}\big[\hat{R}_{\text{test}}(f)\big] = R(f) 勉強した範囲での点数は信用できない——ただ丸暗記しただけかもしれない。だから本物のデータを一部封じ込め、そこでは決して訓練させず、そこだけで採点する。その取り置いた点数こそ、真の誤差を偏りなくのぞける唯一の窓だ。封印した試験のように:決して勉強させない本物の問題を取り分け、採点のときだけ封を切る。一度でものぞけば、審判は誠実でなくなる。
過去に当てはめることが目的だったことはない。未来に出会うことだ。 訓練データを完璧に丸暗記したモデルが作ったのは早見表であって、世界の把握ではない。ご褒美は訓練誤差の低さだったことなど一度もない——これから出会うすべてでの誤差の低さだ。理解とは、汎化の別名にすぎない。ついに地図を読めるように:一本の道順を覚えれば一本の道が手に入るだけ、地形を理解すればどこへでも道を見つけられる。
🌱 私たちは線を引いた。最大のモデルは、その線を平然と越えていく。 古いカーブは、ある点を越えれば複雑さは害にしかならないと警告した。それでも最大のモデルはその点を越え——あらゆる例を、揺らぎごと寸分なく当てはめ——そのうえで、見たことのないものに対してより良くなる。ならば丸暗記と理解は、そもそも一本の線の両端ではなかったのかもしれない。では、その線はいったいどこに引かれるのか。
