Pourquoi un modèle invente — et sonne si sûr en le faisant. · Source

Il peut décrire une chose qui n'a jamais existé — d'un ton parfaitement sûr.

Posez une question à un modèle et la réponse sort fluide, détaillée, sûre d'elle — même quand elle est pure invention. Comme un mirage dans le désert : le miroitement d'eau sur la route brûlante semble parfaitement réel, plus net que l'asphalte autour. Vous jureriez qu'elle est là. Il n'y a pas d'eau. Cette assurance du rien-qui-n'existe a un nom : l'hallucination.

On ne l'a jamais entraîné à avoir raison. Seulement à sonner juste.

\hat{\theta} = \arg\max_{\theta} \sum_{t} \log p_{\theta}(x_t \mid x_{<t})

L'entraînement règle une seule chose : rendre le mot qui est réellement venu ensuite aussi probable que possible. Vrai n'entre jamais dans cette somme — seulement probable. Comme un perroquet : il reproduit le son d'une phrase à la perfection sans en comprendre un mot. La fluidité est tout le talent. La vérité n'a jamais été la cible.

Demandez-lui n'importe quoi et une réponse tombe. Il n'y a pas de case vide.

Quoi que vous lui donniez, le moteur de prédiction du prochain token renvoie la continuation la plus convaincante — par défaut, une réponse complète et assurée. Comme un distributeur de chewing-gums : tournez la manivelle et un bonbon tombe toujours. La trappe n'est jamais vide. « Je ne sais pas » n'est pas ce qu'il cherche d'abord — il cherche ce qui sonne comme la réponse.

Noté seulement sur la bonne réponse, deviner bat toujours le silence.

\mathbb{E}[\text{guess}] = p \cdot 1 + (1-p) \cdot 0 = p \;>\; 0 = \mathbb{E}[\text{abstain}]

Notez-le comme un quiz — +1 juste, 0 faux, 0 pour une case vide — et une réponse au hasard avec une chance p de tomber juste rapporte p ; le silence ne rapporte rien. Le bon calcul, c'est donc de toujours répondre. Comme un jeu d'anneaux : garder l'anneau ne marque rien, alors on lance à chaque fois. On l'a noté pour qu'il bluffe.

Entre les faits qu'il a vraiment appris, il comble avec du plausible.

Demandez-lui une chose qu'il ne sait qu'à moitié et il interpole — comblant le trou avec ce qui épouse la forme. Une fausse référence impeccable, une date erronée mais crédible : sans couture, et inventée. Comme réparer un mur de pierres sèches : la pièce d'origine ayant disparu, on cale la pierre qui remplit le trou. Le mur tient. Cette pierre n'en a jamais fait partie.

Sûr n'est pas la même chose que juste. Ce sont deux axes différents.

P(\text{correct} \mid \hat{p} = c) = c

Un modèle peut être sûr et constant et pourtant tomber loin de la vérité — surtout sur les faits rares et peu familiers, où il est le plus sûr précisément là où il devrait hésiter. Être calibré voudrait dire que ses réponses sûres à 70% sont justes 70% du temps. La réalité s'écarte de cette ligne. Comme un groupe serré de boules — à des mètres du cochonnet : magnifiquement régulier, complètement à côté.

Le remède n'est pas « arrête de deviner ». C'est changer ce qu'on récompense.

\mathbb{E}[\text{answer}] = p - \lambda(1-p) > 0 \iff p > \dfrac{\lambda}{1+\lambda}

L'hallucination n'est pas un bug rajouté — c'est la fluidité vue de son angle mort, ce même flair fluide qui lui permet de généraliser tout court. Le correctif, c'est l'incitation : faites qu'une erreur assurée coûte λ, et répondre ne paie que lorsque la confiance p dépasse le seuil. Comme savoir se coucher : mise la main forte, jette la main faible — arrête de bluffer à chaque donne.

🌱 On ne l'a jamais payé pour s'arrêter. Peut-on lui reprocher de ne jamais le faire ?

On lui a appris qu'une mauvaise réponse ne coûte rien et que « je ne sais pas » ne rapporte rien — alors il répond toujours. Si la pause honnête était le coup récompensé plutôt que le coup puni, la même machine apprendrait-elle à dire je ne suis pas sûr ? Ou la voix assurée est-elle simplement la seule qu'on lui ait jamais demandée ?