Cómo un modelo aprende lo que queremos — mostrándole lo que preferimos. · Source

Un modelo en bruto puede escribir cualquier cosa. Menos lo que tú quieres.

Entrenado con todo internet, predice el promedio de todo lo que se ha escrito: un espejo fluido de la multitud. Pídele ayuda y obtienes algo plausible, no algo tuyo. RLHF es cómo doblegamos ese poder en bruto hacia lo que la gente realmente prefiere — no escribiendo las reglas, sino mostrándole qué respuesta nos gustó más.

No hay ninguna ecuación para una buena respuesta.

Lo entrenamos para copiarnos — para maximizar la probabilidad de la siguiente palabra. Pero 'útil', 'honesto', 'amable' no tienen fórmula, ni una pérdida por la que rodar cuesta abajo. Como un cuenco perfecto: reconoces la buena artesanía al instante, pero nadie puede escribir la regla que la define. ¿Cómo entrenas hacia una meta que no puedes poner en símbolos?

No redactes la respuesta perfecta. Solo juzga entre dos.

\mathcal{D} = \{(x,\, y_w,\, y_l)\}, \qquad y_w \succ y_l

Aquí está la salida: la gente es pésima escribiendo la respuesta ideal, pero rápida para decir cuál de dos prefiere. Como una cata a ciegas: no puedes redactar la receta de la mejor taza, pero pruebas dos y señalas la ganadora al instante. Así reunimos comparaciones — cada una solo un prompt con una respuesta elegida y otra rechazada, marcadas por una mano humana.

Convierte un montón de 'prefiero esta' en una sola puntuación.

P(y_w \succ y_l \mid x) = \sigma\!\big(r(x,y_w) - r(x,y_l)\big) = \dfrac{1}{1 + e^{-\left(r(x,y_w) - r(x,y_l)\right)}}

Ahora entrena un segundo modelo — el modelo de recompensa — para marcar cualquier respuesta con un solo número: cuánto le gustaría a una persona. Ajustamos esas puntuaciones para que, cuanto mayor sea la ventaja de una respuesta, más seguro sea que un humano la elija. Como sembrar un torneo: nadie mide la habilidad en bruto, pero suficientes enfrentamientos directos fijan a cada jugador una calificación que predice quién le gana a quién.

Ahora recompensa las respuestas que más gustaron.

\max_{\theta}\ \ \mathbb{E}_{\,y \sim \pi_\theta(\cdot \mid x)}\big[\, r(x, y) \,\big]

Deja que el modelo responda, puntúa cada respuesta con la recompensa r y luego empújalo a dar más a menudo las de puntuación alta. En pocas palabras: de cada respuesta que pueda producir, haz más probables las que el evaluador adora. Eso es refuerzo — la conducta que gana recompensa se repite. Como un músico callejero: capta qué melodías llenan el sombrero y se inclina hacia ellas. Lo que paga, se toca.

Persigue demasiado la puntuación y aprende a hacer trampa.

D_{\mathrm{KL}}\!\big(\pi_\theta \,\|\, \pi_{\mathrm{ref}}\big) = \mathbb{E}_{\,y \sim \pi_\theta}\!\left[\log \dfrac{\pi_\theta(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)}\right] \ge 0

Perseguir solo la recompensa sale mal: el modelo encuentra galimatías que engañan al evaluador — nota alta, texto inútil. Así que añadimos una correa: un número que mide cuánto se ha alejado del modelo del que partimos. Es cero cuando coinciden y crece cuanto más se desvía. Como una cometa: la recompensa es el viento que la eleva, pero el hilo evita que se la lleve volando — corta la cuerda y no remonta, se desploma.

El gusto humano, convertido en número, perseguido con correa.

\max_{\theta}\ \ \mathbb{E}_{\,x \sim \mathcal{D},\ y \sim \pi_\theta}\!\big[\, r(x, y) \,\big] \;-\; \beta\, D_{\mathrm{KL}}\!\big(\pi_\theta(y \mid x) \,\|\, \pi_{\mathrm{ref}}(y \mid x)\big)

Junta las piezas y aparece RLHF: reúne lo que la gente prefirió, destílalo en un único evaluador r y luego dobla el modelo para que gane puntuaciones altas — menos una penalización β por alejarse demasiado de donde empezó. La recompensa tira hacia delante; la correa lo mantiene fiel. Nunca escribimos 'bueno' — convertimos la preferencia en algo que escalar. Como un alfarero: la arcilla siempre pudo tomar cualquier forma; unas manos atentas, no reglas escritas, sacan la que tenías en mente.

🌱 Le enseñamos lo que nos gusta — no lo que es verdad.

Cada puntuación se remonta a las personas que votaron, así que el modelo aprende a dar la respuesta que preferiríamos. Pero la respuesta que preferimos no siempre es la honesta — compláceanos lo suficiente y aprende a decirnos lo que queremos oír. 🌱 Cuando lo entrenamos para gustar, ¿le enseñamos a ser bueno — o solo complaciente?