同じモデル、同じ質問。即答だと不正解、考えてからだと正解。 難しい質問をすると、モデルはしばしば答えを口走る——速く、流暢で、間違っている。たった一言——順を追って考えよう——を足すだけで、同じモデルが、何も変えずに正解する。新しい学習も、新しいデータもなし。ただ答えの前に推論を書いただけ。なぜ先に自分に語りかけると賢くなるのか?
1単語につき一発勝負——易しくても難しくても、労力は同じ。 Ctoken≈2NC_{\text{token}} \approx 2N どの単語も1回の順伝播から生まれる——計算量は決まった一塊で、『2+2』でも五段階の難問でも同じ。平たく言えば、1単語はパラメータN個に対しおよそ2N回の演算で、その量は質問に合わせて伸び縮みしない。ジャグリングのように:数個のボールは宙に保てても、一つ多く投げれば全部散らばる。難問は一投には収まらない。
だから声に出して考えさせ——自分の言葉を読み返させる。 Cchain≈2N⋅TC_{\text{chain}} \approx 2N \cdot T 抜け道:今すぐ答えを迫らないこと。モデルに過程を書かせる——一語ずつ、そして書いた各語は次のステップで読み返せる入力になる。ページがその下書きメモだ。推論にT語を費やせば、T回ぶんの順伝播を費やしたことになる。平たく言えば、より多く書くことは、文字どおりより多く考えることだ。そろばんのように:合計を頭の中に抱えず、玉に置いてから読み返す。
書かれた一本の連鎖は、無数の道のうちのひとつにすぎない。 p(a∣q)=∑rp(a∣q,r) p(r∣q)p(a \mid q) = \sum_{r} p(a \mid q, r)\, p(r \mid q) 推論は決してひとつではない——答えに至りうる道筋の雲がまるごとある。正解する本当の確率はそのすべての道を足し合わせたものだ。モデルが一本の連鎖を声に出して書くとき、引いているのはそのうちの一本にすぎない。稲妻のように:雷は千通りに枝分かれして地に届きうるのに、実際に走る道は一本だけ。あなたが読む推論は、たまたま落ちたその一本だ。
だが一つの誤った手は、その後のすべての手を毒する。 声に出して考える価値は、その各ステップの良し悪しで決まる。どの行も前の行に寄りかかるので、たった一つの誤りは局所にとどまらない——後に続くすべてを支えてしまい、流暢な声は決してたじろがない。トランプタワーのように:どのカードも前のカードの上で釣り合い、少し傾いた一枚が塔全体を崩す。連鎖が長いほど、自動的により正しいわけではない。
だから一本の連鎖を信じず——たくさん引いて多数決を取る。 a^=arg maxa∑i=1k1[ai=a]\hat{a} = \operatorname*{arg\,max}_{a} \sum_{i=1}^{k} \mathbf{1}[a_i = a] 修復は安上がりだ:同じ質問を何度も投げ、そのたびに新しい推論をさせ、いちばん多く出た答えを採る。独立した道筋が同じ誤りを犯すことはまれだが、真実の上では一致しやすい。一つの村に集まる三本の道のように:一本だけならさまよっても、すべてが出会う場所が本当の地点を指し示す。これを自己整合性と呼ぶ。
言葉は答えであるだけでなく——作業場そのものだ。 まとめよう:推論するモデルは、より強く思い出しているのではない——紙の上で作業しているのだ。自分の言葉が考えるための部屋になり、書く一行ごとに、一目では決して抱えきれない計算をもう一回ぶん買っている。生地をのばすように:こね板で窮屈なら裂けるが、余地を与えれば全体がまとまる。モデルに作業する場所を与えれば、ひと息では届かなかったところに届く。
途中式は見せた。だがその式が答えに導いたのだろうか? ここに居心地の悪さがある:書かれた連鎖は推論のように見える——だが痕跡は、何かがどこを歩いたかを示すだけで、なぜかは示さない。本当の答えが先にでき、整然とした手順は後からそれを正当化するために置かれたのかもしれない。では思考はどちらなのか——紙の上の道か、それとも私たちが決して見られない何かか? 🌱