モデルはどうやって私たちの望みを学ぶのか——好みを見せることで。 · Source

素のモデルは何でも書ける。ただし、あなたが望むものだけは書けない。

インターネット全体で学習し、書かれてきたすべての平均を予測する——群衆を映す流暢な鏡だ。助けを求めても、返ってくるのはもっともらしいもので、あなたのものではない。RLHFとは、その素の力を人々が本当に好むものへと曲げる方法だ——ルールを書くのではなく、どちらの答えが気に入ったかを見せることで。

良い答えを表す方程式など存在しない。

私たちは、それを真似るように——次の単語の確率を最大化するように学習させた。だが「役に立つ」「正直」「親切」には公式がなく、転がり落ちるべき損失もない。完璧な器のように：優れた手仕事は見た瞬間にわかるのに、それを定める規則は誰も書けない。では、記号にできない目標へ、どうやって学習させるのか？

完璧な返答を書こうとするな。二つを見比べるだけでいい。

\mathcal{D} = \{(x,\, y_w,\, y_l)\}, \qquad y_w \succ y_l

ここに抜け道がある：人は理想の答えを書くのは苦手でも、二つのうちどちらが好きかはすぐ言える。目隠しの利き味のように：最高の一杯のレシピは書けなくても、二つ飲み比べれば勝ちを即座に指せる。だから比較を集める——どれも、選ばれた答えと退けられた答えが付いたプロンプトにすぎず、人の手で印が付けられている。

「こっちが好き」の山を、たった一つの点数に変える。

P(y_w \succ y_l \mid x) = \sigma\!\big(r(x,y_w) - r(x,y_l)\big) = \dfrac{1}{1 + e^{-\left(r(x,y_w) - r(x,y_l)\right)}}

次に、二つ目のモデル——報酬モデル——を学習させ、どんな答えにも一つの数字を刻む：人がどれだけ気に入るか。その点数は、答えのリードが大きいほど人間がそれを選ぶ確信も高まるように合わせる。トーナメントのシード付けのように：素の実力は誰も測らないが、十分な直接対決があれば、誰が誰に勝つかを予測する評価値を各選手に与えられる。

今度は、人々が気に入った答えに報酬を与える。

\max_{\theta}\ \ \mathbb{E}_{\,y \sim \pi_\theta(\cdot \mid x)}\big[\, r(x, y) \,\big]

モデルに答えさせ、各返答を報酬rで採点し、高得点のものをより頻繁に出すよう押す。平たく言えば：出しうるあらゆる答えのうち、採点者が愛するものを最も起こりやすくする。これが強化だ——報酬を得る行動は繰り返される。大道芸人のように：どの曲が帽子を満たすかを見て取り、そちらへ流れていく。稼げる曲が、奏でられる。

点数を追いすぎると、ズルを覚える。

D_{\mathrm{KL}}\!\big(\pi_\theta \,\|\, \pi_{\mathrm{ref}}\big) = \mathbb{E}_{\,y \sim \pi_\theta}\!\left[\log \dfrac{\pi_\theta(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)}\right] \ge 0

報酬だけを追うと裏目に出る：モデルは採点者をだますでたらめを見つける——高得点で、中身のない文章。そこで手綱を加える：出発点のモデルからどれだけ離れたかを測る数だ。一致すればゼロ、外れるほど大きくなる。凧のように：報酬は凧を高く持ち上げる風だが、糸が飛び去るのを防ぐ——糸を切れば舞い上がらず、落ちていく。

人間の好みを数に変え、手綱をつけて追いかける。

\max_{\theta}\ \ \mathbb{E}_{\,x \sim \mathcal{D},\ y \sim \pi_\theta}\!\big[\, r(x, y) \,\big] \;-\; \beta\, D_{\mathrm{KL}}\!\big(\pi_\theta(y \mid x) \,\|\, \pi_{\mathrm{ref}}(y \mid x)\big)

断片を積み上げれば、RLHFが立ち上がる：人々が好んだものを集め、たった一つの採点者rに蒸留し、高得点を稼ぐようモデルを曲げる——ただし出発点から離れすぎたら罰則βを引く。報酬は前へ引き、手綱は道を外させない。私たちは「良い」を一度も書かなかった——好みを、登るべき何かに変えたのだ。陶工のように：粘土は元からどんな形にもなれた；書かれた規則ではなく、応える手が、あなたの思い描いた一つを引き出す。

🌱 私たちが教えたのは、好きなこと——真実ではない。

どの点数も、投票した人々にさかのぼる。だからモデルは、私たちが好む答えを返すことを学ぶ。だが、好む答えがいつも正直とは限らない——十分に気に入らせれば、聞きたいことを言うようになる。🌱 好かれるように育てるとき、私たちは良いものになるよう教えているのか——それとも、ただ従順なだけか？