刀鍛冶が弟子を取るのは三か月だけ 老いた刀鍛冶が弟子を取るのは、ひと季節だけ。ジョスは歩き始めた頃から刀だけを夢見て、それ以外を何も知らない。鍛冶屋の娘ミラは遅れてやって来た——十五年を刀以外のすべてに費やしてきた。大工仕事、機織り、値切りの駆け引き、空模様。村は少年に賭ける。師匠はミラの手をじっと見て、二人とも取ると言った。三か月で刀鍛冶が育つはずがあるだろうか?
肝心のもの以外の、十五年 あの十五年で、ミラは本当は何を学んだのか。大工仕事は、素材には木目があり、無理に曲げればどうなるかを教えた。機織りは、手にリズムと張りの感覚を与えた。値切りの駆け引きは、人が本当に必要としているものを読むことを教えた。空模様は、熱と、急かせないものへの辛抱を教えた。どれも鋼のことなど一言も語らない。そのすべてが、いままさに効いてくる。
師匠は注ぎ込まない——狙いを定めるだけ 鍛冶場で、師匠はミラにほとんど講釈しない。小さな直しを入れるだけで、そのどれもが、すでにそこにある何かの上に落ちる。鋼には木目のような流れがある——大工の手がうなずく。鎚はリズムを求める——それは機織りが何年も前に授けた。火には気分がある——空模様なら生まれてからずっと読んできた。師匠は技を注ぎ込んでいるのではない。十五年ぶんの村を、一振りの刀へと狙い定めているのだ。その傍らで、ジョスは丸暗記をしている。
鏡の少年——動きは完璧、その下には何もない ジョスは怠け者ではない。すべての動きを寸分違わず写し取り、定番の刀なら仕上がりも見事だ。そこへ奇妙な鉄塊が届く——妙な曲がり方をし、妙な冷え方をする鉄だ。ミラは手を緩め、空模様を読むように鉄に耳を澄まし、逆目の木を扱うように打っていく。ジョスは自分が持つ唯一の型を繰り返すが、金属は意に介さない。彼は技を写せる。だが応用ができない。なぜだ? 同じ三か月を過ごしたのに。
三か月が効くのは、十五年のあとだけ 時間を数えてみよう。教育は十五年。修業はひと季節——ほんの薄片だ。それでも、その薄片こそが彼女を刀鍛冶にする。短くて済むのは、まさに彼女をほとんど変えなくていいからだ。木目も、リズムも、熱も、人も、すでに組み上がっている。師匠はそれを一つの技へ向け直すだけ。変化はごくわずか、転回は巨大。学習する機械も、ちょうどこの二幕で育てられる。
機械の二幕——pretraining、そして fine-tuning θtuned=θpretrained+Δθ\theta_{\text{tuned}} = \theta_{\text{pretrained}} + \Delta\theta 言語モデルはミラの人生を生きる。まず世界じゅうの一般的な文章を何年ぶんも読み、木目を、リズムを、物事の組み合わさり方を吸収する。その長い教育がpretrainingだ。次に、課題の例題をなぞる短く安い一巡りが、その全体の向きを変える。その修業がfine-tuningだ。式が言うのは、調整後のモデルは教育済みのモデルに小さなひと押しを足したもの、ということ。実際のモデルで測ると、数百個のつまみだけで、数億個すべてを調整し直すのとほぼ同じ成果が得られた。
🌱 ひと季節は、あなたの歳月をどこへ向ける? 何年も経ったある日、ミラは刃を研ぎながら考える。師匠はかつて言った。同じこの手は、鐘にも、鋤にも、錠前にも行けたはずだ、と——あの十五年は、どこにも向けられてはいなかったのだ。一般の教育が良いほど、必要な修業は小さくて済む。つまり、あなたがこれまでに学んだすべてはひそかに汎用なのだ。集中したひと季節があれば、その全部をどこへ向け直せるだろう?
