モデルに開いた本を渡す——記憶をでっち上げる代わりに、その場で調べさせる。 · Source

メモなしで部屋に閉じ込められた天才——だから、はったりを言う。

訓練済みのモデルは、持ち込み禁止の試験のようなものだ。知っていることはすべて、訓練が終わった日に封じられている。あなたの社内文書や今朝のニュースを尋ねても、めくるページはない——だから、よどみなく、自信ありげに当て推量する。検索拡張生成は、そこに本を手渡す。記憶を漁る代わりに、その場で調べさせるのだ。持ち込み可の試験のように:世界を丸暗記するのをやめ、ページの探し方を身につける。

その知識は、世に出た日に凍りついた。

モデルが学んだことはすべて、固定された重みに焼き付けられ、そして凍結される——訓練のあとは何も更新されない。あなたの会社の文書を抱えることもできず、今日起きたことも知らない。さらに悪いことに、「それは読んでいない」という枠がない。だから空白を、それらしく聞こえる何かで埋める。印刷された百科事典のように:堂々として、美しく装丁され——そしてインクが乾いた瞬間から、少しだけ古びている。

だから、全部を詰め込まない。必要なものを取りに行く。

やることはこうだ。あらゆる事実を重みに詰め込もうとするのをやめる。知識はモデルの外に、ふつうの検索できる置き場に置いておき、問いごとに必要なわずかな一節だけを引き寄せる——そして、それを元に答える。モデルは物知り屋であることをやめ、優れた読み手になる。リスの貯えのように:どんぐりを全部ほおに抱えたりはしない——近くに埋めておき、欲しいぶんだけ掘り出す。

正しい一節をどう見つけるか——言葉ではなく、意味で。

e_q=E(q),\ e_d=E(d),\quad \mathrm{sim}(q,d)=\dfrac{e_q\cdot e_d}{\lVert e_q\rVert\,\lVert e_d\rVert},\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d)

問いも、どの一節も、ひとつの意味の空間の中の点に変えられる——猫を子猫のそばに置くのと同じ仕掛けだ。各一節を、その点が問いの点とどれだけ重なるかで採点し、上位のいくつかだけを残す。どのキーワードも一致する必要はない。見つけ出すのは意味の近さだ。花屋のように:やわらかくて、心が弾むようなものと頼めば、名前は気にせず、感じがいちばん近いバケツへまっすぐ向かう。

いまや、記憶ではなく、ページから答える。

p_\eta(d\mid q)=\dfrac{\exp\,\mathrm{sim}(q,d)}{\sum_{d'\in\mathcal{D}_k}\exp\,\mathrm{sim}(q,d')},\qquad p(y\mid q)=\sum_{d\in\mathcal{D}_k} p_\eta(d\mid q)\,p_\theta(y\mid q,d)

取り出した一節がプロンプトに差し込まれ、モデルはそれに根ざして答える——その返答は、実のところ、それらわずかな一節を、合致の度合いで重みづけして混ぜ合わせたものだ。記憶が先導するのをやめ、ページが先導する。平たく言えば、たった今手渡されたものから、答えを組み立てる。証拠書類を読み上げる証人のように:おぼろな記憶からそらんじる代わりに、目の前に置かれた書類を読む。

落とし穴——取ってきたもの以上にはならない。

\mathrm{Recall}@k=\dfrac{\lvert R\cap\mathcal{D}_k\rvert}{\lvert R\rvert}

根ざすことは諸刃の剣だ。検索が誤った一節を引き上げれば、モデルは自信たっぷりに、誤ったものへ根ざす——そして、必要だったただ一つの一節が取り出されたわずかな中に入らなければ、その後の工程では何をしても取り戻せない。平たく言えば、これはただ、本当に関わりのある一節のうち、いくつが選ばれたかの割合を測るだけだ。天井は、一語も書かれる前に決まっている。朝の買い出しのように:どんな名コックも、木箱で届いたものしか皿に盛れない。

更新するのは書庫であって、モデルではない。

y\sim p_\theta\big(y\mid q,\ \mathcal{D}_k\big),\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d);\qquad \text{update }\mathcal{D},\ \ \theta\ \text{fixed}

一歩下がれば、流れ全体は単純だ。問いを点に変え、いちばん近い一節を取り出し、それを元に答える。モデルの重みは決して動かない——大切な知識はすべて外に、数秒で編集し、入れ替え、増やせる置き場にあり、モデルは拠り所にしたまさにその一節を指し示せる。昨日の事実が古い? ページを取り替えればいい、脳ではなく。展示替えのある画廊のように:広間はそのままに、壁だけが新しいものを見せる——そして、どの作品も、確かめられるよう、そこに掛かっている。

🌱 いつでも調べられるなら、そらで覚える価値があるものとは何だろう。

心に、何でも十分すばやく調べられる手立てを与えれば、知っていることと見つけることの境目は、ぼやけはじめる。私たちもまた、そこに生きている——記憶の半分は、もう、手を伸ばせば届くものに預けてある。では、心が自分自身の内になお抱えておくべきものとは何だろう——事実か、それとも、どこを見ればよいかを知るという術だけか。そして、いつもページへ手を伸ばすなら、何かが本当に自分のものになることは、あるのだろうか。