言語を学ぶ二つのやり方 — そして二つの異なる知性。 モデルに大量のテキストを与えると、当てっこ遊びをしながら学ぶ。だが遊びは二つある。一つは次に来るものを隠し、前向きに予測させる。もう一つは真ん中の単語を空白にし、両側からその穴を埋めさせる。同じテキスト、同じ機械 — それでも選んだ遊びが、そのモデルが何になれるかを決める。
遊び一：過去だけを見て、次の単語を当てる。 logpθ(x1:T)=∑t=1Tlogpθ(xt∣x<t)\log p_\theta(x_{1:T}) = \sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t}) ジャズのソリストのように：どの音もすでに弾いた音から選ばれ、次の小節はまだ書かれていない。次の単語を予測するモデルは左から右へ読み、続きに賭ける — 決して先を覗かない。数式は連鎖律にすぎない。文全体の確率は「ここまでの全部を踏まえて、次は何か？」という積み重ねの積だ。
遊び二：単語を空白にし、両側から組み立て直す。 LMLM=−∑i∈Mlogpθ (xi∣x∖M)\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in M} \log p_\theta\!\left(x_i \mid x_{\setminus M}\right) モザイクの修復師のように：一枚のタイルが欠けていて、どれがぴったり合うかを、四方から流れ込む模様を読んで見極める。穴埋め型のモデルは散らばった単語を隠し、それぞれを左右両側のテキストから同時に組み立て直す。前向きには決して予測しない — 穴のまわり全体から、内側へ向かって推論する。
唯一の本質的な違い：各単語が何を見てよいか。 A=softmax (QK⊤d+M),Mij={0j≤i−∞j>iA = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j > i \end{cases} 荷馬の目隠し（ブリンカー）のように：道そのものは変えず、すでに通り過ぎたもの以外をただ隠す。二つの遊びはまったく同じアテンションを動かしている — 片方が未来にカーテンを引くだけだ。前を指すスコアすべてに−∞を足すと、softmax はその重みをゼロまで潰す。過去は照らされ、未来は暗くなる。カーテンを上げれば、どの単語も他のすべてを見る。
だが穴埋めの遊びは、フィードバックで代償を払う。 targets per sequence={Npredict-nextρN, ρ≈0.15fill-in\text{targets per sequence} = \begin{cases} N & \text{predict-next} \\ \rho N,\ \rho \approx 0.15 & \text{fill-in} \end{cases} 砂金を選り分けるように：一皿ぶんの砂利をふるって、わずかな輝く金片だけを残す。予測の遊びはすべての単語を採点する — N 個の単語、N 回の教訓。穴埋めの遊びは隠した数語、だいたい七語に一語だけを採点し、残りは読むだけで決して試されない文脈にすぎない。両側からの豊かな視野、しかしフィードバックはまばら — だから同じテキストを吸収するのに、はるかに多くの回数を要する。
実際に書けるのは、前向きの遊びだけだ。 xt∼pθ(xt∣x<t),t=1,2,3,…x_t \sim p_\theta(x_t \mid x_{<t}), \quad t = 1, 2, 3, \dots 溶けたガラスを引き伸ばすガラス職人のように：形は、光る先端からしか伸びていかない — すでに固まった真ん中には足せない。生成するとき、モデルは「ここまで」から次の単語を標本し、それを溶かし付け、また尋ねる。穴埋めのモデルには伸びる先端がない。両側がすでに存在すると常に前提していたから、無から始めて伸びていく正直な足場がないのだ。
目的関数こそが運命だ。 同じ transformer、同じデータ — 違うのは遊びだけ、そこから二つの異なる知性が現れる。次を予測する遊びは話し手を育てる。生成するモデル、あなたが語り合う相手だ。穴埋めは読み手を育てる。一節をまるごと一度に捉え、検索や分類を支えるモデルだ。いちばん奇妙な点は？十分な規模まで広げると、前だけを向く話し手も、ひそかに理解することまで覚えてしまった。
🌱 一つの根、二つの道 — それとも二つの知性？ 一方のモデルは、ひたすら前だけを見て話すことを覚えた。もう一方は、両側を同時に見て理解することを覚えた。私たちは言語を二つの遊びに分け、二つの異なる才を得た。では、考えているのはどちらだろう — 常に前へ進む声か、それとも全体を一目で捉える眼差しか？そして、一つの遊びが両方を育てることはありうるのか？
