Transformez « A bat B » directement en un meilleur modèle — sans modèle de récompense ni RL. · Source

Apprends-lui ce que nous préférons — sans arbitre ni tâtonnements.

Pour orienter un modèle vers ce que veulent les gens, la recette habituelle est une usine à gaz. La Direct Preference Optimization jette la machine. Donnez-lui des paires —cette réponse l'emporte sur celle-là— et une seule fonction de perte limpide transforme la préférence directement en un meilleur modèle. Aucun juge séparé à entraîner. Aucun apprentissage par renforcement à surveiller. Directement à la source.

La méthode habituelle fait un long détour — et on peut la berner.

\max_{\pi_\theta}\ \mathbb{E}_{x\sim\mathcal{D},\,y\sim\pi_\theta}\big[r(x,y)\big]-\beta\,D_{\mathrm{KL}}\big(\pi_\theta(y\mid x)\,\|\,\pi_{\mathrm{ref}}(y\mid x)\big)

Le RLHF prend la route panoramique : entraîner un juge séparé pour noter les réponses, puis courir après ce score par apprentissage par renforcement — le tout sans trop s'éloigner du modèle de départ. En clair : décrocher le plus de récompense possible sans s'éloigner de chez soi. Deux étapes fragiles — et à trop forcer, il apprend à flatter le juge, pas à vraiment progresser. Comme une route en lacets : la longue montée, avec de quoi s'égarer.

Ce long objectif a une unique meilleure réponse — déjà écrite.

\pi^{*}(y\mid x)=\frac{1}{Z(x)}\,\pi_{\mathrm{ref}}(y\mid x)\,\exp\!\Big(\tfrac{1}{\beta}\,r(x,y)\Big),\quad Z(x)=\sum_{y}\pi_{\mathrm{ref}}(y\mid x)\,\exp\!\Big(\tfrac{1}{\beta}\,r(x,y)\Big)

Voici le secret glissé dans cet objectif : la meilleure politique ne se traque pas par tâtonnements — elle a une forme close. Prenez le modèle de départ et repondérez-le doucement, en relevant les réponses que la récompense favorise. En clair : le gagnant n'est que le modèle de base, penché vers la récompense. Comme un treillis sur une vigne : la plante pousse toujours d'elle-même — le cadre ne fait que la pencher vers la lumière.

Lis-le à l'envers : la récompense était dans le modèle depuis le début.

r(x,y)=\beta\,\log\frac{\pi^{*}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\,\log Z(x)

Maintenant, retournez cette équation et isolez la récompense. La voilà — écrite entièrement en termes de la politique elle-même. Ce pour quoi nous allions entraîner tout un réseau séparé était déjà là, replié dans le modèle. En clair : votre modèle est, en secret, son propre juge de récompense. Comme un filigrane dans le papier : invisible à plat sur le bureau — inclinez-le vers la lumière et la marque cachée apparaît.

Glissez-la dans la préférence — et le terme impossible s'annule.

\mathcal{L}_{\mathrm{DPO}}=-\,\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\Big[\log\sigma\!\Big(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\Big)\Big]

Cette récompense cache encore un monstre : Z, la somme sur chaque réponse que le modèle pourrait jamais donner — impossible à calculer. Mais une préférence ne fait que comparer deux réponses à la même question. Soustrayez une récompense de l'autre et Z — identique des deux côtés — s'évanouit, tout simplement. Il ne reste qu'une seule perte, dans la politique seule. En clair : comparer supprime la partie impossible. Comme une balance : des poids égaux sur les deux plateaux s'annulent ; seul le caillou en trop la fait pencher.

Une traction : monte le gagnant, baisse le perdant, plus fort là où il se trompe.

\hat r_\theta(x,y)=\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)},\quad \nabla_\theta\mathcal{L}_{\mathrm{DPO}}=-\beta\,\mathbb{E}\Big[\sigma\big(\hat r_\theta(x,y_l)-\hat r_\theta(x,y_w)\big)\big(\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\big)\Big]

Réduisez la perte à sa traction et c'est un tir à la corde sur la probabilité : relever la réponse préférée, abaisser celle qu'on a rejetée. Et la traction n'est pas égale — le terme en tête enfle précisément quand le modèle a la paire à l'envers, classant le perdant au-dessus du gagnant. En clair : il se corrige le plus fort là où il se trompe avec le plus d'assurance. Comme un tir à la corde : on tire de toutes ses forces à l'instant où la corde commence à filer du mauvais côté.

Un tas de « celle-ci bat celle-là » — en un meilleur modèle, d'un seul pas.

Ainsi, toute la machine se réduit à une seule ligne. Aucun juge à entraîner. Aucun déploiement de renforcement à stabiliser. Juste un tas figé de celle-ci bat celle-là et un pas de gradient — et pourtant elle atteint le même objectif exact que visait le RLHF, atteint directement au lieu d'être contourné. Comme un tunnel à travers la montagne : la même vallée attend de l'autre côté — vous avez simplement sauté la montée.

🌱 Il a appris ce que nous avons choisi — jamais pourquoi.

La DPO apprend nos préférences à la perfection : quelle réponse nous avons choisie, à chaque fois. Mais une préférence n'est que l'ombre projetée par une raison. Nous lui avons confié le choix et gardé la raison pour nous. Alors, quand elle nous plaît, saisit-elle pourquoi la meilleure réponse est meilleure — ou n'a-t-elle appris que la forme de notre désir ?