大きくすれば——曲線に沿って良くなり、新しい能力が点灯する。 賢くするためにモデルを書き直すわけではない。ただスケールさせる——パラメータを増やし、データを増やし、計算を増やす——だけで、その腕前はなめらかで予測できる曲線を上っていく。そしてある大きさに達すると、教えてもいない能力がふいに現れる。夜明けの気球のように:着実に昇っていくと、いきなり真新しい地平が眼下に開ける。
落とし穴——巨大な訓練は、報われるかわかる前に注ぎ込む大金だ。 最先端モデルの訓練は数百万のコストがかかり、何週間も走り続ける。もっと大きいモデルが見合うかを知る昔ながらの方法は? 作ってみるしかない。すべてを先に注ぎ込み、判定が出る頃にはもう軌道修正には遅すぎる。夕暮れに広大な畑へ種を蒔くように:種は今すべて入るが、見合ったかどうかは収穫まで、ひと季節先までわからない。
誤差を大きさに対してプロットすると、混沌が一本のきれいな直線になる。 L(N)≈(NcN)αN,αN≈0.076L(N) \approx \left(\dfrac{N_c}{N}\right)^{\alpha_N},\qquad \alpha_N \approx 0.076 パラメータ数Nを増やしながらモデルの誤差を測る。log-log軸の上では、点は一本の直線に乗る——誤差は大きさの一定のべき乗則で下がっていく。簡単に言えば、大きさが10×になるたびに同じ一定の割合だけ誤差が削れる——だから今日の線の上に明日のモデルが読み取れる。地平へ伸びる線路のように:まっすぐで、たどり着くずっと前から行き先が見える。
大きさ、データ、計算——そして計算は、ほかの二つを掛けただけだ。 C≈6 N DC \approx 6\,N\,D 曲線には三つのつまみがある——パラメータN、訓練トークンD、そして費やす計算C——そしてこれらは独立していない。1トークンあたり、パラメータ1個につきおよそ六回の演算がかかる。行きに二回、帰りに四回だ。簡単に言えば、総作業量は大きさ×データの六倍。布を織るように:得られる反物は、たて糸×よこ糸の通し回数——どちらか片方だけでは一反も織れない。
ゼロには決して届かない。純粋なランダムさの床が必ず残る。 L(N, D)=E+ANα+BDβL(N,\,D) = E + \dfrac{A}{N^{\alpha}} + \dfrac{B}{D^{\beta}} モデルとデータをどこまで大きくしても、誤差はそれでもゼロには届かない。完全な法則は、縮んでいく二つのペナルティ——小さすぎるモデルへの分と、少なすぎるデータへの分——を、固定された床Eの上に積み上げる。その床こそ言語そのものが持つ真のランダムさだ。完璧なモデルでさえ、コイントスは言い当てられない。鏡を磨くように:一磨きごとに得られるものは少しずつ減り、物理が、近づけても決して超えられないなめらかさを定めている。
予算が決まっているなら、モデルとデータを一緒に育てる——片方だけではなく。 Nopt∝Ca,Dopt∝Cb,a≈b≈12N_{\text{opt}} \propto C^{a}, \quad D_{\text{opt}} \propto C^{b}, \quad a \approx b \approx \tfrac{1}{2} 計算予算を固定して問う——モデルを大きくするか、それともデータを増やすか? 答えは両方を、ほぼ等しく——予算が二倍になったら、それぞれをだいたい同じ倍率で育てる。ちょうどいい塩梅はパラメータ1個あたり二十トークンのテキストあたりだ。簡単に言えば、与えるものが少なすぎる巨大モデルは、ただの訓練不足の巨人にすぎない。二本のオールで漕ぐように:片方をもう片方よりずっと強く引いても速くはならない——ただぐるぐる回るだけだ。
そのなめらかな曲線を十分に下っていくと、新しい能力がパチンと立ち上がる。 ここに、スケールを魔法のように見せる仕掛けがある。損失の曲線はなめらかに下がる——なのに特定の能力、たとえば多桁の計算は、モデルをいくつ重ねても当てずっぽうの水準で平らなまま、そしてほぼ一気に動き出す。下ではずっと積み上がっていたのだ。急な跳ねは、半ば物差しのせい——できたかできないかの白黒で採点するからだ。限界角に達した砂山のように:砂粒を一つずつ足しても何も動かない——たった一粒が、斜面全体を滑り落とすまでは。
🌱 線は決して曲がらない。では頂上はあるのか——それとも同じことがただ続くだけか? ここに並ぶ法則はどれも同じことを言う——もっと注げば、もっと返る。ただ続いていく曲線に沿って——曲がりもなく、天井も見えない。だが決して曲がらない線は、決して到達もしない線でもある。次の段に手が届くと約束するだけで、それが最後だとは決して言わない。では、モデルがついに理解しているように見えるとき、それは本当に新しい何かなのか——それとも、私たち自身さえ驚かせるほど研ぎ澄まされた、同じなめらかな登りにすぎないのか?
