Comment un modèle apprend : en minimisant sa propre surprise. · Source

L'entraînement n'est qu'un ordre lancinant : sois moins surpris la prochaine fois.

Un modèle apprend d'un torrent de texte, mais la leçon ne change jamais : quand le mot suivant arrive, sois moins pris au dépourvu que la fois d'avant. Pas de règles de grammaire, pas de faits dictés — juste un décompte continu de surprise, abaissé mot après mot. Comme un gardien de but : tout l'art est de lire l'action tôt, pour que le tir ne soit jamais un choc.

Il ne dit jamais un seul mot. Il parie sur tous les mots à la fois.

Demande le mot suivant et le modèle ne répond pas — il répartit sa confiance sur tout le vocabulaire, un chiffre sur chaque option. Juste-ou-faux ne peut pas noter cela ; il a misé sur des milliers de paris. Il faut une note qui récompense une grosse mise sur la vérité et pénalise une grosse mise sur un raté. Comme une poignée de fléchettes : tu vises toute la cible d'un coup, mais seul l'endroit où tombe le centre décide de ton score.

La surprise a une formule : sa rareté, passée au logarithme.

\text{surprise}(x) = -\log p(x)

Donne à un événement la probabilité p ; quand il arrive, ta surprise vaut −log p. Tiens quelque chose pour quasi certain et cela survient — surprise quasi nulle. Parie contre et cela se produit quand même — la surprise explose. Comme la foudre dans un ciel clair : plus tu étais serein qu'il le resterait, plus la secousse est rude quand elle frappe.

Ta perte n'est que la surprise face au mot qui est venu.

\mathcal{L} = -\log q_{y}

Voici la manœuvre : de tous ces paris, un seul mot vient vraiment ensuite. Ta pénalité est la surprise face à ce mot — −log de la probabilité que tu lui as donnée. Mets-y beaucoup de confiance : perte minuscule. Affame-le : perte énorme. Toute autre supposition est ignorée quand l'addition tombe. Comme un péage : tu peux rêver de toutes les routes, mais tu ne paies qu'à celle que la vérité emprunte.

Pourquoi « entropie croisée » : la surprise mesurée face à la vérité.

H(p, q) = -\sum_{i} p_i \log q_i

Fais la moyenne de cette surprise sur tout ce qui arrive vraiment, en pondérant chaque issue par sa fréquence réelle, et tu obtiens l'entropie croisée. La pénalité d'un seul mot, c'est de la chance ; la vraie note est la moyenne sur le long terme. Comme une longue exposition : une seule image ne dit rien, mais laisse l'obturateur ouvert et les voies les plus fréquentées brillent le plus — le vrai motif s'inscrit de lui-même.

Baisser la surprise et hausser la vraisemblance, c'est le même geste.

\arg\min_{\theta}\; -\frac{1}{N}\sum_{n} \log q_{\theta}(y_n) \;=\; \arg\max_{\theta}\; \prod_{n} q_{\theta}(y_n)

Multiplie des milliers de probabilités minuscules et le résultat s'évanouit à zéro — inutile. Prends les logarithmes et le produit devient une somme de surprises qu'il suffit d'additionner. Et le renversement en découle : rendre les données probables, c'est rendre la surprise totale petite — un seul sommet, deux noms. Comme la lumière qui faiblit avec la profondeur : chaque mètre multiplie l'assombrissement vers le noir, mais compter les mètres monte régulièrement — le logarithme est la mesure honnête.

Ce seul nombre est tout l'objectif — et il compte les choix.

\text{perplexity} = e^{H} = \exp\!\left(-\frac{1}{N}\sum_{n} \log q_{\theta}(y_n)\right)

Chaque gradient, chaque petit ajustement à un milliard de poids, fait descendre ce seul scalaire : la surprise moyenne face à la vérité. Mets-le en exposant et tu obtiens la perplexité — entre combien de mots le modèle hésite vraiment. Une perte de ln 20 signifie qu'il est aussi perdu qu'en tirant au hasard parmi 20. Moins de perte, moins d'options vives, esprit plus affûté. Comme une rivière en tresses : moins l'eau a de chenaux à emprunter, plus son cours est sûr.

🌱 Un esprit entraîné seulement à prévoir — peut-il vraiment surprendre ?

🌱 Chaque étape de l'entraînement récompense une seule chose : ne pas être surpris par ce qui était déjà écrit — ainsi le modèle devient l'écho le plus lisse du passé. Mais les idées qui comptent sont celles que personne n'a vues venir. Un esprit conçu pour minimiser la surprise peut-il jamais produire celle qui s'avère juste — ou ne fera-t-il que terminer nos phrases ?