Comment un modèle se simplifie — sans fausser sa façon d'apprendre. · Source

Deux façons de garder un modèle humble : jadis identiques, plus maintenant.

Un modèle qui s'appuie trop sur quelques bizarreries n'ira pas loin : net sur ce qu'il a vu, perdu sur le reste. Le remède : pousser sans cesse chaque poids doucement vers zéro. Des années durant, deux recettes pour cette poussée étaient prouvées identiques — peu importait laquelle. Puis l'optimiseur a changé, et les deux se sont discrètement séparées. Choisir la bonne rapporte une vraie précision. C'est la décroissance des poids découplée.

De gros poids rendent un modèle fragile. Alors on les attache à zéro.

\mathcal{L}_{\text{reg}} = \mathcal{L} + \tfrac{\lambda}{2}\lVert w \rVert^{2}

Laissez un poids devenir énorme et le modèle mise tout sur une seule bizarrerie criarde. On ajoute donc une douce traction vers zéro : plus un poids est grand, plus il est ramené fort. Comme un ressort : chaque poids pend à un fin lien élastique vers zéro, et plus il s'éloigne, plus le rappel est fort. En clair : la perte reçoit un supplément égal à la moitié de λ fois le carré de la longueur du poids — exactement l'énergie stockée d'un ressort.

Pour l'optimiseur simple, le ressort n'est qu'un rétrécissement régulier.

w_{t+1} = w_t - \eta\nabla\mathcal{L} - \eta\lambda w_t = (1-\eta\lambda)\,w_t - \eta\nabla\mathcal{L}

Prenez la traction du ressort et le calcul est doux : sa pente vaut simplement λ fois le poids, donc chaque étape réduit d'abord le poids d'un cheveu, puis suit les données. Pénalité et rétrécissement sont le même geste. Comme un tailleur : redessinez le patron plus petit, ou reprenez chaque couture d'un cran — le vêtement fini sort à la même taille. En clair : ajouter le ressort à la perte revient exactement à multiplier chaque poids par (1−ηλ) à chaque étape.

Mais l'optimiseur moderne ne fait pas des pas réguliers.

w_{t+1} = w_t - \eta\,\dfrac{\hat m_t}{\sqrt{\hat v_t}+\epsilon}

L'optimiseur que presque tout le monde emploie aujourd'hui donne à chaque poids son propre pas — divisant son mouvement par la racine carrée de l'ampleur de ses gradients récents (√v̂), tout en se guidant sur leur moyenne glissante. Un poids qui oscillait furieusement fait de tout petits pas prudents ; un poids calme avance à grandes enjambées. Comme un funambule : là où le câble vacille le plus, les pas se font les plus petits.

Faites passer le ressort par là, et le rétrécissement devient inégal.

\Delta w_{\text{decay}} \;\propto\; \dfrac{\lambda\,w_t}{\sqrt{\hat v_t}+\epsilon}

Voici le hic. Boulonnez le ressort sur le gradient — la voie évidente — et l'optimiseur divise la décroissance par cette même échelle propre à chaque poids. Les poids les plus actifs, ceux qu'on veut le plus brider, rétrécissent donc le moins. Comme une même poussée sur une pierre de curling et sur un palet de hockey : elle fait à peine glisser la lourde pierre mais envoie le palet voler. En clair : le rétrécissement ressenti par un poids est sa taille divisée par son activité récente (√v̂).

La solution : sortir le rétrécissement de la molette.

w_{t+1} = w_t - \eta\,\dfrac{\hat m_t}{\sqrt{\hat v_t}+\epsilon} - \eta\lambda w_t

Comme dételer une remorque : sortez le rétrécissement de la machinerie motrice et laissez-le agir seul. Faites le pas adaptatif normal pour les données — puis, séparément, ramenez chaque poids vers zéro de la même fraction fixe, quelle qu'ait été son activité. Cette mise à l'écart est toute l'idée. En clair : le terme −ηλw se trouve désormais hors de la division par √v̂, donc chaque poids rétrécit du même (1−ηλ) à chaque étape.

Désormais deux molettes qui ne se gênent plus.

La décroissance libérée, les deux commandes se séparent enfin : l'une règle à quelle vitesse le modèle apprend, l'autre avec quelle force il se simplifie — et tourner l'une ne brouille plus l'autre. Comme deux feux d'une cuisinière : montez la flamme sous une casserole sans toucher l'autre. L'aveu honnête : pour l'optimiseur simple, les deux recettes étaient vraiment identiques ; le découplage ne paie qu'une fois que chaque poids avance à son propre rythme.

🌱 Le rangement a mieux marché tenu à l'écart du travail.

Tout le gain est venu d'un geste discret : extraire l'envie d'oublier de la machinerie qui apprend, et la laisser agir seule. Deux pressions — l'une tendue vers les données, l'autre ramenant tout vers le néant — tenues côte à côte, jamais mêlées. Alors, quand le rangement appartient-il au travail, et quand doit-il rester à part ? Et oublier, fait de manière régulière et délibérée, est-ce une part de l'apprentissage, ou un art tranquille à lui seul ?