目隠しのフリースロー、コーチが告げるのは数ひとつ 夕暮れの誰もいない体育館。彼女は目隠しを結び、フリースローラインに立ち、放つ。リングの下からコーチが告げるのは、たったひとつの数——ボールがどれだけ外れたか。左とも短いとも言わない。ただ、どれだけ外れたかだけ。今夜、彼女がゴールを見ることはない。それなのに真夜中には、ほとんど外さなくなっている。たったひとつの数が、体に何を教えられるというのか?
どれだけ間違えたかを表す正直な数 その数がすべての取り決めだ。どんな弧でも、どんな回転でも、あらゆる試みは同じ無愛想なやり方で採点される——どれだけの距離で外したか。この正直なただひとつの点数が損失だ。一万本の違う投げ方の間で良いと悪いの意味をそろえ、彼女の技を一つの指示に縮める——この数を小さくせよ。だが点数は「間違えた」と告げるだけで、何を変えるべきかは決して教えない。
どの小さな変更が、いちばん効くのか L(θ+d)≈L(θ)+∇L⋅dL(\theta + d) \approx L(\theta) + \nabla L \cdot d ラインの上で、彼女には感じられる。弧をほんの少し高くすれば大きく効き、押し出しをわずかに弱めれば少し、手首はほとんど関係ない。あらゆる微調整を「外れをどれだけ縮めるか」で並べれば、勝つ向きはひとつ——最も急な下り坂。それが勾配だ。式が言うのは、小さな調整は傾きに比例して外れを動かす、ということだけ——いま立っている場所のすぐ近くでしか効かない約束だ。なら、思い切り跳べばいいのでは?
少しだけ直す——決して大きくは 傾きは、あくまで局所の約束だからだ。弧をひと筋高くするのはここからなら効く。だが弧を倍にすればボールはバックボードを叩き、大きな修正はそのたびに前より大きく行き過ぎる。だから彼女は、傾きが示す量のほんの一部だけ動く。その割合が学習率だ。臆病すぎれば夜が無駄になり、大胆すぎれば迷走が膨らむ。とはいえ、慎重なひと押し一回では、ほとんど何も直らない……
外す、聞く、直す——一万回 θ←θ−η ∇L\theta \leftarrow \theta - \eta\, \nabla L 儀式はこうだ。投げ、数を聞き、効く向きを感じ、そちらへ少しだけ動く。そしてもう一度——前の一巡がわずかに良くして残した体から。一回ずつは賢くない。賢いのは繰り返しだ。式はこのループの一行版だ。新しいフォーム = 古いフォーム − 傾きの小さな倍数。千回のループが、外れを叫び声からささやきへと磨り減らす——そして彼女の中で、何かが静かに変わる。
そのループこそ「訓練」の意味 彼女は一度もゴールを見なかった。誤りの点数、最も効く小さな変更、控えめな一歩——損失、勾配、ステップ——それを夜明けまで繰り返す。このループが勾配降下法であり、モデルを「訓練する」とはそれがすべてだ。ひらめきも、授業もない。ただ幾百万回の、小さく正された外れがあるだけ。訓練されたネットワークの持つあらゆる技能は、このやり方で磨り出された。もっとも——コーチの数が、実は一度も正確ではなかったとしたら?
🌱 雑音まじりのコーチのほうが、良い師なのか? 夜によっては、こだまが声をにじませる。数はわずかに狂って届き、彼女の修正はさまよう。だがそのさまよいが、几帳面すぎるコーチなら置き去りにしたはずの心地よい轍から、彼女を揺すり出すように見える——そして見つかったフォームは、見知らぬ体育館でもより頑丈に感じられる。教えに混じる雑音は、消し去るべき欠陥なのか……それとも、学びを定着させる当のものなのか?