Pourquoi handicaper un modèle à dessein le fait mieux généraliser. · Source

Il cartonne à chaque répétition, puis échoue dans le monde réel.

Un modèle qui a de la place à revendre ne comprend pas ses données d'entraînement : il les mémorise, défauts et coïncidences compris. Comme une fleur de serre élevée sous un verre parfait, il paraît impeccable jusqu'à l'instant où il affronte le vrai climat. Le remède semble à l'envers : l'handicaper exprès pendant qu'il apprend.

Le piège : les neurones conspirent en silence.

Livrées à elles-mêmes, les unités passent des accords privés : l'une apprend à s'appuyer sur la sortie exacte d'une autre. Comme une pyramide humaine : chaque corps s'arc-boute contre des autres précis, et elle ne tient que tant que personne ne bouge. Retirez-en un et toute la structure s'effondre. Le modèle n'apprend pas le signal : il mémorise un agencement fragile qui ne tient que sur les données vues.

La parade : faire taire une moitié au hasard, à chaque pas.

\tilde{\mathbf{h}} = \mathbf{r} \odot \mathbf{h}, \qquad r_j \sim \mathrm{Bernoulli}(p)

Dropout tire à pile ou face pour chaque unité à chaque pas et met les perdantes à zéro : on garde chacune avec la probabilité p, on jette le reste (⊙ applique le masque). Comme une ligne de cuisine où des postes s'éteignent au hasard en plein service : aucun plat ne peut compter sur un cuisinier toujours présent, alors chacun apprend à se débrouiller seul. C'est du bruit, injecté exprès : on ne peut pas s'appuyer sur une unité qui pourrait disparaître.

Un bonus caché : vous avez entraîné toute une foule.

\tilde{h}_j = \frac{r_j}{p}\, h_j, \qquad \mathbb{E}\!\left[\tilde{h}_j\right] = h_j

Chaque masque aléatoire est un réseau aminci différent : au fil de l'entraînement vous en avez discrètement exercé 2ⁿ, partageant tous un même jeu de poids. Comme superposer de nombreux croquis : chacun est un peu faux, mais empilés, leurs erreurs s'annulent en une seule ressemblance stable. Pour équilibrer les comptes, divisez les survivants par p ; puis au test vous allumez tout le monde et le réseau complet moyenne toute la foule d'un coup.

Un autre levier : faire payer les gros poids.

\tilde{L}(\mathbf{w}) = L(\mathbf{w}) + \frac{\lambda}{2}\lVert \mathbf{w}\rVert_2^2 \;\Rightarrow\; \mathbf{w} \leftarrow (1-\eta\lambda)\,\mathbf{w} - \eta\,\nabla L

Weight decay ajoute à la perte un prix pour tout poids qu'on laisse grossir, si bien que chaque pas pousse aussi un peu chaque poids vers zéro : c'est le facteur (1−ηλ). Comme tailler une haie : rognez la pousse folle et une forme nette et simple apparaît. Un modèle maintenu petit ne peut pas tout miser sur quelques coïncidences tapageuses ; il doit répartir sa confiance sur de petites preuves partagées.

Un seul pari sous toutes.

\min_{\theta}\; L_{\text{data}}(\theta) + \lambda\,\Omega(\theta)

Ôtez les noms et tout régularisateur fait le même pari : coller aux données, mais payer la complexité (c'est Ω). Comme ne préparer qu'un seul bagage à main : l'espace petit et fixe vous force à laisser tout ce qui ne mérite pas sa place pour n'importe quel voyage — vous ne gardez que ce qui voyage bien. La molette λ fixe le taux de change : montez-la et vous achetez de la simplicité, baissez-la et vous achetez de la mémorisation.

La leçon : un handicap à l'entraînement, c'est de la force dans la nature.

Bruit, unités coupées, poids plafonnés : chacun rend l'entraînement plus dur exprès. Comme courir avec un gilet lesté : chaque foulée coûte davantage maintenant, si bien que le jour de la course, délesté, vous êtes bien plus fort et plus stable. Un modèle qui apprend à performer à demi aveuglé et contraint est justement celui qui tient quand arrive le monde réel, jamais vu.

Nous l'avons fait oublier exprès. Et il a mieux compris.

🌱 Nous ne l'avons pas agrandi ni davantage nourri. Nous en avons éteint des parties, au hasard — et il a mieux compris. Alors peut-être que l'oubli n'est pas l'ennemi de la compréhension, mais son prix. Et sous chaque astuce repose un pari silencieux : que l'histoire la plus simple qui colle est la plus vraie. Mais si elle ne l'était pas ? Si certaines vérités n'avaient jamais vocation à être simples ?