Pourquoi on lui apprend à n'être jamais parfaitement sûr. · Source

On l'entraîne à laisser une once de doute — exprès.

Montrez à un modèle un corrigé marqué 100% juste, 0% tout le reste, et il apprend à être un je-sais-tout : sûr de chaque réponse, même des mauvaises. Alors on fait une chose étrange : on floute le corrigé. On lui dit que la bonne réponse est presque certaine, jamais tout à fait certaine. L'astuce, c'est le label smoothing, et cette pincée de doute rend le modèle à la fois plus humble et plus solide.

Le corrigé habituel est brutalement tout ou rien.

y_i = \begin{cases} 1 & i = c \\ 0 & i \neq c \end{cases} \qquad p_c \to 1 \ \text{only as}\ z_c - z_j \to \infty

La cible d'entraînement est one-hot : un seul 1 sur la bonne réponse, un 0 net sur toutes les autres. Comme une cible avec seulement le mille : l'or compte, et un anneau à un cheveu près vaut autant qu'un raté complet. Pour que softmax sorte un vrai 1, le score gagnant doit grimper sans fin — un ordre que le modèle ne finit jamais d'exécuter.

Courir après la certitude totale ne finit jamais.

\frac{\partial \mathcal{L}}{\partial z_c} = p_c - 1 < 0 \quad \text{for all } p_c < 1

Forcez pour ce 1 parfait et le calcul ne lâche rien. La pente sur le score de la bonne réponse reste négative jusqu'à atteindre 1 — alors le score ne cesse de monter, son avance sur les rivales se creusant sans plafond. Comme grimper à une échelle sans dernier barreau : vous êtes déjà assez haut pour tout voir, et pourtant « sois certain » vous fait grimper dans le vide, pour rien.

La parade : donner une miette de la réponse à chacun.

y^{\text{LS}}_i = (1-\alpha)\, y_i + \frac{\alpha}{K}

Alors adoucissez le corrigé. Gardez l'essentiel du poids sur la bonne réponse, puis répartissez une part fine et égale — α/K chacune — sur les K réponses. Comme découper un gâteau : l'invité d'honneur a la grosse part, mais chacun à table reçoit un copeau, si bien qu'aucune réponse ne reste à zéro net. Le réglage α fixe ce que vous cédez.

Maintenant la perte tire dans deux sens à la fois.

\mathcal{L}_{\text{LS}} = (1-\alpha)\,(-\log p_c) \;+\; \alpha\left(-\frac{1}{K}\sum_{i} \log p_i\right)

La cible adoucie scinde la perte en deux tractions. L'une tire toujours le modèle vers la bonne réponse ; l'autre le pousse doucement vers l'uniforme — une supposition plate, qui ne sait rien. Comme un cerf-volant au bout d'un fil : le vent l'emporte vers le haut et le large, votre main garde une tension régulière, et seules les deux ensemble le maintiennent en vol sans qu'il s'arrache.

La certitude a enfin un point de repos.

\Delta^{\star} = \ln\!\frac{(1-\alpha)K + \alpha}{\alpha} \quad (\text{finite, not } \infty)

Désormais, le mieux que le modèle puisse faire n'est plus l'infini : c'est un écart fixe. La cible adoucie est la plus heureuse quand la confiance dans la bonne réponse se pose à une hauteur finie, bien en dessous de 1. Comme une bille qui s'immobilise au fond d'un bol : l'ancienne cible était une descente sans fin et sans fond ; celle-ci lui donne enfin un point bas où se poser. Pour K=1000 réponses et α=0.1, cet écart maximal vaut environ 9.1 — et jamais plus.

Mais le cadeau du doute coûte un peu de nuance.

Voici le hic. Ce copeau égal traite toute mauvaise réponse pareillement — confondre cat avec dog ne compte pas plus proche que confondre cat avec truck. Comme une neige fraîche sur un sol accidenté : elle apaise la certitude dure et déchiquetée en quelque chose d'uni et de doux, mais elle ensevelit aussi les petites crêtes et ornières qui distinguaient une mauvaise réponse d'une autre. Vous gagnez en calibration ; vous cédez un peu de cette structure fine.

🌱 On a interdit la certitude. Sagesse, ou bonnes manières ?

On ne lui a jamais montré quoi mettre en doute. On a seulement réécrit le corrigé pour qu'il ne puisse jamais être tout à fait sûr de rien — une once toujours retenue à la main, comme une lune qu'on empêche d'être jamais pleine. Alors quand il nuance, est-ce l'aube d'une vraie humilité — un esprit qui touche le bord de ce qu'il sait — ou seulement une politesse qu'on lui a cousue de l'extérieur ?