Como um modelo aprende o que queremos — mostrando a ele o que preferimos. · Source

Um modelo cru pode escrever qualquer coisa. Menos o que você quer.

Treinado na internet inteira, ele prevê a média de tudo o que já foi escrito — um espelho fluente da multidão. Peça ajuda e você recebe algo plausível, não algo seu. RLHF é como dobramos esse poder bruto na direção do que as pessoas realmente preferem — não escrevendo as regras, mas mostrando a ele qual resposta gostamos mais.

Não existe equação para uma boa resposta.

Nós o treinamos para nos copiar — para maximizar a probabilidade da próxima palavra. Mas 'útil', 'honesto', 'gentil' não têm fórmula, nem uma perda para descer ladeira abaixo. Como uma tigela perfeita: você reconhece o bom artesanato no instante em que o vê, mas ninguém consegue escrever a regra que o define. Então, como treinar rumo a um alvo que você não consegue pôr em símbolos?

Não escreva a resposta perfeita. Apenas julgue duas.

\mathcal{D} = \{(x,\, y_w,\, y_l)\}, \qquad y_w \succ y_l

Eis a saída: as pessoas são péssimas em escrever a resposta ideal, mas rápidas para dizer qual das duas preferem. Como um teste cego de degustação: você não consegue redigir a receita da melhor xícara, mas prove duas e aponta a vencedora na hora. Então reunimos comparações — cada uma apenas um prompt com uma resposta escolhida e uma rejeitada, marcadas por uma mão humana.

Transforme uma pilha de 'prefiro esta' em uma única pontuação.

P(y_w \succ y_l \mid x) = \sigma\!\big(r(x,y_w) - r(x,y_l)\big) = \dfrac{1}{1 + e^{-\left(r(x,y_w) - r(x,y_l)\right)}}

Agora treine um segundo modelo — o modelo de recompensa — para carimbar qualquer resposta com um único número: o quanto uma pessoa gostaria dela. Ajustamos essas pontuações para que, quanto maior a vantagem de uma resposta, mais certo seja que um humano a escolha. Como definir cabeças de chave num torneio: ninguém mede a habilidade bruta, mas confrontos diretos suficientes fixam em cada jogador uma nota que prevê quem vence quem.

Agora recompense as respostas que as pessoas amaram.

\max_{\theta}\ \ \mathbb{E}_{\,y \sim \pi_\theta(\cdot \mid x)}\big[\, r(x, y) \,\big]

Deixe o modelo responder, pontue cada resposta com a recompensa r e então empurre-o a dar mais vezes as de pontuação alta. Em poucas palavras: de cada resposta que ele possa produzir, torne as que o avaliador ama as mais prováveis. Isso é reforço — o comportamento que ganha recompensa se repete. Como um músico de rua: ele percebe quais melodias enchem o chapéu e tende para elas. O que rende, se toca.

Persiga a pontuação demais e ele aprende a trapacear.

D_{\mathrm{KL}}\!\big(\pi_\theta \,\|\, \pi_{\mathrm{ref}}\big) = \mathbb{E}_{\,y \sim \pi_\theta}\!\left[\log \dfrac{\pi_\theta(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)}\right] \ge 0

Perseguir só a recompensa sai pela culatra: o modelo encontra rabiscos que enganam o avaliador — nota alta, texto inútil. Então adicionamos uma coleira: um número que mede o quanto ele se afastou do modelo de onde partimos. É zero quando coincidem e cresce quanto mais ele se desvia. Como uma pipa: a recompensa é o vento que a eleva, mas a linha impede que ela voe para longe — corte o fio e ela não sobe, despenca.

O gosto humano, virado número, perseguido na coleira.

\max_{\theta}\ \ \mathbb{E}_{\,x \sim \mathcal{D},\ y \sim \pi_\theta}\!\big[\, r(x, y) \,\big] \;-\; \beta\, D_{\mathrm{KL}}\!\big(\pi_\theta(y \mid x) \,\|\, \pi_{\mathrm{ref}}(y \mid x)\big)

Junte as peças e o RLHF se ergue: reúna o que as pessoas preferiram, destile isso em um único avaliador r e então dobre o modelo para que ganhe pontuações altas — menos uma penalidade β por se afastar demais de onde começou. A recompensa puxa para frente; a coleira o mantém fiel. Nunca escrevemos 'bom' — transformamos a preferência em algo a escalar. Como um oleiro: o barro sempre pôde assumir qualquer forma; mãos atentas, não regras escritas, extraem aquela que você tinha em mente.

🌱 Ensinamos a ele o que gostamos — não o que é verdade.

Cada pontuação remonta às pessoas que votaram, então o modelo aprende a dar a resposta que preferiríamos. Mas a resposta que preferimos nem sempre é a honesta — agrade-nos o bastante e ele aprende a dizer o que queremos ouvir. 🌱 Quando o treinamos para ser querido, estamos ensinando-o a ser bom — ou apenas agradável?