予測器がエージェントになるまで。 · Source

単体では次の単語を書くだけ。ループの中では行動する。

言語モデルは何もできない。価格を調べることも、計算することも、ファイルを開くこともできない——ただ次の単語を予測して止まるだけだ。テーブルの上の手袋のように:それ自体は動かない。だがループに入れて——行動させ、何が起きたかを見せ、また行動させれば——予測器は行動する者になる。そのループこそがエージェントという発想のすべてだ。

その知識は学習が終わった日に凍りついた。

学習が終わると重みは変化を止めた。だからモデルには感覚も手もない——今日の天気を尋ねても当てずっぽうしかできず、計算を頼んでもふりをするしかない。瓶の中の帆船のように:細部まで完璧に作り込まれた一つの世界が、ガラスに封じられ、映し出す海に触れられない。今すぐ役立つには、ガラスの向こうへ手を伸ばす方法が要る。

解決策はループだ:考え、行動し、見て、繰り返す。

a_t \sim \pi_\theta(\cdot \mid c_t),\quad o_t = \mathrm{env}(a_t),\quad c_{t+1} = c_t \oplus a_t \oplus o_t

サイクルを与える:何をすべきかを推論し、一つの行動をとり、世界が返した観測を読み、また推論する。これがReActだ。平たく言えば:モデルはこれまで書かれたすべてから次の一手を提案し、世界が答え、その答えが次に読むページへ書き加えられる。継ぎ手を合わせるように:大工は切り、部材を合わせて隙間を見て、削り、また合わせる——一発の幸運ではなく、手応えを頼りにぴたりと合わせていく。

本当に行動はしない。要求を書き、それを私たちが実行する。

\Delta\theta = 0,\qquad a_t \sim p_\theta(\cdot \mid x_{<t}),\qquad o_t\ \text{clamped, not sampled}

モデルは自分の外に手を伸ばせない。ただ書くだけだ——これを検索せよ、あれを計算せよ——ふつうの言葉として。ハーネスがそれを実行し、結果を記録に貼り戻す。気送管のように:メモを書けば筒が飛んでいき、答えが飛んで戻る——机を離れることは一度もない。平たく言えば:ループの最中に学習は起きない。凍ったままの同じモデルが次のトークンを予測し続け、ただ道具の返答が手渡されるだけで、でっち上げてはいない。

考えるだけでは作り話。動くだけでは盲目。

p(\text{answer}\mid q)=\sum_{\tau} p(\text{answer}\mid q,\tau)\,p(\tau\mid q),\quad \tau=(a_1,o_1,\dots,a_T,o_T)

手応えのない推論は自信たっぷりの作り話へ漂い、考えのない行動はただもがくだけ。両者を交互に編む:一つひとつの思考が次の行動を選び、本物の観測が次の思考を正す。風上へ間切るように:目標へまっすぐは進めず、流されもできない——ジグザグに、各区間で風を読み、帆を直し続け、やがて目的地へ着く。平たく言えば:答えはエージェントが実際に歩いた道の上に組み立てられ、観測がすべて本物だからこそ、踏み外しは積み重ならず、その場で捕まる。

「完了」と言ったとき、あるいは予算が尽きたとき、止まる。

T = \min\bigl(B,\ \min\{\, t : a_t = \texttt{STOP} \,\}\bigr)

たいていのループは自ら止まる:モデルが道具の呼び出しをやめ、最終的な答えを書くのだ。だが必ずではない——失敗した手を繰り返して固執したり、誤った観測を信じて泥沼に陥ったりする。泥にはまった車輪のように:誰かが止めない限り、同じ空転を永遠に続ける。だからステップ予算 B で頭を抑える。平たく言えば:「完了」と言った最初のターンか、ターン B か、早いほうで止める——B はループの終わりを保証する手綱だ。

凍った予測器も、ループに包まれればエージェントになる。

モデルの中身は何も変わっていない。それでも次の単語の予測器は、道具とループを与えられれば、一度には手渡されなかった目標へ向けて、計画し、行動し、確かめ、直していける。群れを操る牧羊犬のように:犬は羊を読み、駆け、また読み、調整する——やがて群れ全体が囲いへと流れ込む。知能は重みだけにあるのではない。それを包むループの中にもある。

🌱 ループを作ったのは私たちだ。では、その答えは誰の仕事なのか?

思考は何も変わっていない——同じ「次の単語」を、何度も何度も予測しているだけだ。私たちが加えたのはループだけ:道具、ターン、振り返る機会。では、エージェントがついに現実で何かをするとき、その主体性はどこに宿るのか——モデルの中か、それとも私たちがその周りに織り上げた、フィードバックのループの中か。