丸暗記と理解を分ける一線。 · Source

勉強した問題は全問正解、初めての問題は全問不正解。

モデルは学習したデータでは満点を取れても、見慣れないものが来た途端につまずく。その差こそが核心だ。丸暗記は理解ではない。一本の道順を覚えるようなもの:樫の木で左、赤い納屋で右——その道では完璧でも、最初の迂回路で迷う。本当の試験は、走ったことのない道のほうだった。

採点は過去で、評価は未来で。

\begin{aligned} \hat{R}(f) &= \tfrac{1}{n}\sum_{i=1}^{n}\ell\!\big(f(x_i),y_i\big) \\ R(f) &= \mathbb{E}_{(x,y)\sim\mathcal{D}}\!\big[\ell(f(x),y)\big] \\ \text{gap}(f) &= R(f) - \hat{R}(f) \end{aligned}

見える誤差は訓練データ上のもの。本当に大事な誤差はまだ出会っていないすべての上にあり、それは直接は測れない。両者のあいだの隔たりが汎化ギャップだ。身内だけで紅白戦をするチームのように:自分たちの癖は知り尽くしても、本当の勝敗は一度も対戦したことのない相手とのあいだで決まる。

間違え方は二通り——片方を治すと、もう片方が育つ。

\mathbb{E}\big[(y-\hat{f}(x))^2\big] = \underbrace{\big(\text{Bias}[\hat{f}(x)]\big)^2}_{\text{too simple}} + \underbrace{\text{Var}[\hat{f}(x)]}_{\text{too eager}} + \underbrace{\sigma^2}_{\text{irreducible}}

単純すぎれば、モデルは本当の形を取り逃す——これがバイアス。熱心すぎれば、ランダムな揺らぎまでなぞる——これが分散。全体の誤差はこの二つの和、さらに決して打ち消せないノイズが乗る。漁網の目のように:粗すぎれば獲物はすり抜け、細かすぎれば泥や藻まで魚と一緒に引き上げる。妙味はその中間の編み目にある。

手元の例は真実を運ぶ——偶然にくるまれて。

どんなデータも、本物のパターンに加えて偶然の霧がかかっている——ラベルの誤り、まぐれ、どの例をたまたま集めたかという運。余地を与えすぎれば、モデルは偶然まで覚え込み、それを規則と取り違える。一本の海賊版ライブ録音で曲を覚えるように:巻き戻しすぎると、客席の咳やテープのヒスノイズまで音符のように『覚えて』しまう。

ちょうど良い点を越えると、力は静かに牙をむく。

R(f) - \hat{R}(f) \;\lesssim\; \sqrt{\dfrac{C}{n}}

容量を足すと訓練誤差は下がり続ける——が、新しいデータでの誤差は下がり、底を打ち、また上がる。当てはめる余地が増えるほど、丸暗記の余地も増える。古典的な上界はこう言う:ギャップは複雑さとともに増え、データとともに減る。テーブルをやすりがけするように:数回なら木目が引き立つが、同じ場所を削り続ければ、へこみを彫って台無しにする。

唯一誠実な審判は、一度も見たことのない問題だ。

\hat{R}_{\text{test}}(f) = \frac{1}{m}\sum_{j=1}^{m}\ell\!\big(f(x_j),y_j\big), \qquad \mathbb{E}\big[\hat{R}_{\text{test}}(f)\big] = R(f)

勉強した範囲での点数は信用できない——ただ丸暗記しただけかもしれない。だから本物のデータを一部封じ込め、そこでは決して訓練させず、そこだけで採点する。その取り置いた点数こそ、真の誤差を偏りなくのぞける唯一の窓だ。封印した試験のように:決して勉強させない本物の問題を取り分け、採点のときだけ封を切る。一度でものぞけば、審判は誠実でなくなる。

過去に当てはめることが目的だったことはない。未来に出会うことだ。

訓練データを完璧に丸暗記したモデルが作ったのは早見表であって、世界の把握ではない。ご褒美は訓練誤差の低さだったことなど一度もない——これから出会うすべてでの誤差の低さだ。理解とは、汎化の別名にすぎない。ついに地図を読めるように:一本の道順を覚えれば一本の道が手に入るだけ、地形を理解すればどこへでも道を見つけられる。

🌱 私たちは線を引いた。最大のモデルは、その線を平然と越えていく。

古いカーブは、ある点を越えれば複雑さは害にしかならないと警告した。それでも最大のモデルはその点を越え——あらゆる例を、揺らぎごと寸分なく当てはめ——そのうえで、見たことのないものに対してより良くなる。ならば丸暗記と理解は、そもそも一本の線の両端ではなかったのかもしれない。では、その線はいったいどこに引かれるのか。