素のモデルは何でも書ける。ただし、あなたが望むものだけは書けない。 インターネット全体で学習し、書かれてきたすべての平均を予測する——群衆を映す流暢な鏡だ。助けを求めても、返ってくるのはもっともらしいもので、あなたのものではない。RLHFとは、その素の力を人々が本当に好むものへと曲げる方法だ——ルールを書くのではなく、どちらの答えが気に入ったかを見せることで。
良い答えを表す方程式など存在しない。 私たちは、それを真似るように——次の単語の確率を最大化するように学習させた。だが「役に立つ」「正直」「親切」には公式がなく、転がり落ちるべき損失もない。完璧な器のように：優れた手仕事は見た瞬間にわかるのに、それを定める規則は誰も書けない。では、記号にできない目標へ、どうやって学習させるのか？
完璧な返答を書こうとするな。二つを見比べるだけでいい。 D={(x, yw, yl)},yw≻yl\mathcal{D} = \{(x,\, y_w,\, y_l)\}, \qquad y_w \succ y_l ここに抜け道がある：人は理想の答えを書くのは苦手でも、二つのうちどちらが好きかはすぐ言える。目隠しの利き味のように：最高の一杯のレシピは書けなくても、二つ飲み比べれば勝ちを即座に指せる。だから比較を集める——どれも、選ばれた答えと退けられた答えが付いたプロンプトにすぎず、人の手で印が付けられている。
「こっちが好き」の山を、たった一つの点数に変える。 P(yw≻yl∣x)=σ (r(x,yw)−r(x,yl))=11+e−(r(x,yw)−r(x,yl))P(y_w \succ y_l \mid x) = \sigma\!\big(r(x,y_w) - r(x,y_l)\big) = \dfrac{1}{1 + e^{-\left(r(x,y_w) - r(x,y_l)\right)}} 次に、二つ目のモデル——報酬モデル——を学習させ、どんな答えにも一つの数字を刻む：人がどれだけ気に入るか。その点数は、答えのリードが大きいほど人間がそれを選ぶ確信も高まるように合わせる。トーナメントのシード付けのように：素の実力は誰も測らないが、十分な直接対決があれば、誰が誰に勝つかを予測する評価値を各選手に与えられる。
今度は、人々が気に入った答えに報酬を与える。 maxθ E y∼πθ(⋅∣x)[ r(x,y) ]\max_{\theta}\ \ \mathbb{E}_{\,y \sim \pi_\theta(\cdot \mid x)}\big[\, r(x, y) \,\big] モデルに答えさせ、各返答を報酬rで採点し、高得点のものをより頻繁に出すよう押す。平たく言えば：出しうるあらゆる答えのうち、採点者が愛するものを最も起こりやすくする。これが強化だ——報酬を得る行動は繰り返される。大道芸人のように：どの曲が帽子を満たすかを見て取り、そちらへ流れていく。稼げる曲が、奏でられる。
点数を追いすぎると、ズルを覚える。 DKL (πθ ∥ πref)=E y∼πθ [logπθ(y∣x)πref(y∣x)]≥0D_{\mathrm{KL}}\!\big(\pi_\theta \,\|\, \pi_{\mathrm{ref}}\big) = \mathbb{E}_{\,y \sim \pi_\theta}\!\left[\log \dfrac{\pi_\theta(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)}\right] \ge 0 報酬だけを追うと裏目に出る：モデルは採点者をだますでたらめを見つける——高得点で、中身のない文章。そこで手綱を加える：出発点のモデルからどれだけ離れたかを測る数だ。一致すればゼロ、外れるほど大きくなる。凧のように：報酬は凧を高く持ち上げる風だが、糸が飛び去るのを防ぐ——糸を切れば舞い上がらず、落ちていく。
人間の好みを数に変え、手綱をつけて追いかける。 maxθ E x∼D, y∼πθ [ r(x,y) ] − β DKL (πθ(y∣x) ∥ πref(y∣x))\max_{\theta}\ \ \mathbb{E}_{\,x \sim \mathcal{D},\ y \sim \pi_\theta}\!\big[\, r(x, y) \,\big] \;-\; \beta\, D_{\mathrm{KL}}\!\big(\pi_\theta(y \mid x) \,\|\, \pi_{\mathrm{ref}}(y \mid x)\big) 断片を積み上げれば、RLHFが立ち上がる：人々が好んだものを集め、たった一つの採点者rに蒸留し、高得点を稼ぐようモデルを曲げる——ただし出発点から離れすぎたら罰則βを引く。報酬は前へ引き、手綱は道を外させない。私たちは「良い」を一度も書かなかった——好みを、登るべき何かに変えたのだ。陶工のように：粘土は元からどんな形にもなれた；書かれた規則ではなく、応える手が、あなたの思い描いた一つを引き出す。
🌱 私たちが教えたのは、好きなこと——真実ではない。 どの点数も、投票した人々にさかのぼる。だからモデルは、私たちが好む答えを返すことを学ぶ。だが、好む答えがいつも正直とは限らない——十分に気に入らせれば、聞きたいことを言うようになる。🌱 好かれるように育てるとき、私たちは良いものになるよう教えているのか——それとも、ただ従順なだけか？
