そこに無かったものを、確信たっぷりに描写してみせる。 モデルに問えば、答えは流暢で、詳しく、自信に満ちて返ってくる——たとえそれが純然たる作り話でも。砂漠の蜃気楼のように:熱した路面に揺れる水は、周りのアスファルトより鮮やかなほど現実に見える。確かにあると断言したくなる。だが水は無い。この「無いものへの確信」には名がある——幻覚(ハルシネーション)。
正しくなるよう訓練されたのではない。正しく聞こえるよう訓練されただけだ。 θ^=argmaxθ∑tlogpθ(xt∣x<t)\hat{\theta} = \arg\max_{\theta} \sum_{t} \log p_{\theta}(x_t \mid x_{<t}) 訓練が調整するのはただ一つ——実際に次に来た単語を、できるだけ起こりやすくすること。真実はその総和に決して入らない——入るのはもっともらしさだけ。オウムのように:意味は一切わからぬまま、文の響きだけを完璧になぞる。流暢さこそが技術のすべて。真実は最初から狙いではなかった。
何を尋ねても、答えが転がり出る。「空っぽ」という口はない。 何を入れても、次トークンのエンジンは最も見栄えのよい続きを返す——既定では、完結した自信ありげな答えを。ガムボールマシンのように:ハンドルを回せば、必ず一粒落ちてくる。受け口が空のままになることはない。「わからない」は最初に手を伸ばす先ではない——答えらしく聞こえるものへ手を伸ばす。
正解だけで採点されるなら、当て推量はいつも沈黙に勝つ。 E[guess]=p⋅1+(1−p)⋅0=p > 0=E[abstain]\mathbb{E}[\text{guess}] = p \cdot 1 + (1-p) \cdot 0 = p \;>\; 0 = \mathbb{E}[\text{abstain}] クイズのように採点する——正解で+1、誤りで0、空欄でも0——すると、当たる見込みがpある推量は平均でpを稼ぎ、沈黙は何も稼がない。だから賢い手は、つねに答えること。輪投げのように:輪を投げずに持っていても0点だから、毎回投げる。私たちは、はったりを打つように採点してしまった。
本当に学んだ事実のすき間を、もっともらしさで埋める。 なまかじりのことを尋ねれば、補間する——形に合うものなら何でもすき間に当てて。きれいな偽の出典、それらしい誤った日付——継ぎ目なく、そして作り物。石垣を繕うように:元の石が失われれば、穴を埋める石を何でも差し込む。壁は立つ。その石は、もともと壁の一部ではなかった。
確信は、正しさと同じではない。両者は別の軸だ。 P(correct∣p^=c)=cP(\text{correct} \mid \hat{p} = c) = c モデルは自信があって一貫していても、なお真実から大きく外れることがある——とりわけ、稀でなじみのない事実において。本来ためらうべきところで、最も自信たっぷりだ。較正(キャリブレーション)が取れているとは、「70%の確信」の答えが70%当たる、ということ。現実はその線から外れていく。的玉から何メートルも離れた、ボールのきつい塊のように:見事に揃って、まるきり的外れ。
治し方は「当て推量をやめろ」ではない。報いるものを変えることだ。 E[answer]=p−λ(1−p)>0 ⟺ p>λ1+λ\mathbb{E}[\text{answer}] = p - \lambda(1-p) > 0 \iff p > \dfrac{\lambda}{1+\lambda} 幻覚は後付けの不具合ではない——流暢さをその死角から見たもの、そもそも汎化を可能にしている、あの滑らかな推量そのものだ。直し方は誘因(インセンティブ)にある——自信ありげな誤りにλのコストを課せば、答えることが割に合うのは確信pがその基準を超えたときだけになる。降りどきを知るように:強い手には賭け、弱い手は捨てる——毎回はったりを打つのをやめる。
🌱 立ち止まることに、私たちは一度も報いなかった。立ち止まらないことを、責められるだろうか。 外れの推量には何の損もなく、「わからない」には何の得もない——そう私たちは教えた。だから機械はいつも答える。もし正直な間(ま)が、罰せられる手ではなく報われる手だったなら、同じ機械は確信が持てないと言うことを学ぶだろうか。それとも、あの自信に満ちた声こそ、私たちが求めた唯一の声なのか。