勉強した試験は満点。なのにずっと後で、ふっと腑に落ちる。 モデルは訓練データを一瞬で完璧に覚えても、新しい問題はまるで解けない——そして何も起きていないように見える、気の遠くなるほど長い訓練の後、突然汎化する。静かなシロップの瓶のように：長いあいだ澄んで動かず、ひと息で一気に結晶へと固まる。暗記は速かった。理解は、ずっとずっと後にやってきた。
まずはただ丸暗記——見たものは完璧、それ以外はお手上げ。 最初はただ詰め込む：訓練データの正解率は100%まで跳ね上がるのに、見たことのない問題ではまるで当てずっぽうのまま。一つひとつの例に合わせただけで、奥にある規則を見つけていない。石膏の型のように——たった一つの物から取った型は、その形だけは完璧に再現するが、ほかには何一つ合わない。満点なのに、何も分かっていない。
飛躍はずっと後に来る——進歩はその間ずっと隠れていた。 次に訪れるのは、長く平らな谷——テストの成績がほとんど動かないまま、何千ステップも続く。行き詰まったように見える。だが水面下では、本物の回路が静かに組み上がっている。平らな曲線がそれを隠しているだけだ。竹のように：地上には何年も何も出ないまま、根は広く伸びていく——そしてある日、ほとんど一夜にして空へと突き上げる。仕事はずっと、見えないところで進んでいた。
誤差がゼロになっても変わり続けるのはなぜ？静かな第二の圧力。 minθ L(θ)+λ2 ∥θ∥2\min_{\theta}\; L(\theta) + \frac{\lambda}{2}\,\lVert\theta\rVert^2 もう誤差をこれ以上下げられなくなっても、押し続ける力が一つ残る——大きさへの小さな家賃だ。目的関数は誤差と重みの総量の両方を小さくする——だから誤差がゼロでも縮み続け、その家賃を決めるのがλだ。ゆるやかな川のように：海に着いたずっと後でも、かすかで絶え間ない流れが、自らの曲がりをなおも真っ直ぐにしていく。
満点への道は二つ。無駄のない方が、静かに勝つ。 θ⋆=argminθ: L(θ)≈0 ∥θ∥\theta^\star = \arg\min_{\theta:\,L(\theta)\approx 0}\ \lVert\theta\rVert 完璧な点を取れる内部の仕組みは二つありうる——かさばる丸暗記装置と、無駄のない規則だ。点数は同じ——だが規則のほうは、はるかに小さな重みでそれをやってのける。だから家賃は小さいほうを選ぶ：データを完璧に解く設定すべての中で、いちばん小さいものへと流れていく。一本の杭に結んだ二本のロープのように：無駄に絡んだ束も、すっきり結んだひと結びも同じように持ちこたえるが、ロープを節約できるのは結び目のほうだけだ。
本当は何を学んだのか？円を回して足し算をすること。 cos(θa+θb)=cosθacosθb−sinθasinθb\cos(\theta_a + \theta_b) = \cos\theta_a\cos\theta_b - \sin\theta_a\sin\theta_b 無駄のない回路をのぞくと、そこには本物のアルゴリズムがある。いちばん読み解きやすい例——時計の上での足し算——では、各数を角度に変え、その角度どうしを足し、ひとりでに一周して戻る、というやり方を学んでいた。下の恒等式は、一つの角度を次の角度へと送る歯車だ。鉄道の転車台のように：機関車を載せ、ある分だけ回せば、別の向きを指す——参照表ではなく、一つの規則だ。
データに合わせることと、規則をつかむことは、決して同じ瞬間ではない。 教訓はこうだ：暗記することと理解することは別々の出来事であり、あの長い遅れは、前者から後者へのゆっくりとした移行にすぎない。それがいちばんはっきり現れるのは、あの家賃を高くした、小さく整った課題でのこと——明快な証拠ではあるが、どんなモデルもいきなり腑に落ちる、という保証ではない。熟成中の樽が並ぶ蔵のように：ひと季節のあいだ何もしていないように見えて、静かな熟成が進み——そしてついに、旨くなる。
🌱 一瞬で詰め込み、一時代かけて理解した。心が学び終えるのは、いつ？ ほとんど一瞬で満点に届き——理解が表に出たのは、ずっと後だった。ならば規則は、暗記したその瞬間にもう其処にあって、引き出されるのを待っていただけなのか？そして、終わったように見えてからもなお静かに掴み続けられるのなら、その学びを「終わった」と、私たちはいつ言えるのだろう？
