Pourquoi le modèle que l'on garde est un modèle jamais entraîné. · Source

Le modèle que l'on garde est la moyenne du trajet, pas le dernier pas.

La moyenne des poids tient une moyenne discrète et continue de chaque modèle traversé par l'entraînement — et ce fantôme surpasse le plus souvent celui où vous vous êtes arrêté. Comme la face polie d'une enclume : aucun coup de marteau n'a façonné cet acier en miroir — c'est la moyenne de dix mille, plus juste et plus calme que le moindre coup. On garde la moyenne, presque gratuitement.

Près du fond, l'entraînement ne tient jamais en place.

\theta_{t+1} = \theta_t - \eta\,\tilde{g}_t, \qquad \tilde{g}_t = \nabla L(\theta_t) + \xi_t, \quad \mathbb{E}[\xi_t]=0

La descente de gradient ne se pose pas au minimum — elle l'orbite. Comme une bouée à l'ancre : amarrée au-dessus d'un point mais ballottée par chaque vague, sans jamais se fixer sur le point exact. En clair : au fond, la vraie pente ∇L est proche de zéro, mais chaque mini-lot pousse encore les poids d'un petit ξ aléatoire — ils errent donc sur place. Le modèle où vous vous arrêtez n'est que là où le ballottement s'est trouvé.

La parade : garder une copie fantôme et y mêler un soupçon à chaque pas.

\bar{\theta}_t = \beta\,\bar{\theta}_{t-1} + (1-\beta)\,\theta_t

Ne vous fiez donc pas au dernier sursaut. Gardez un second jeu de poids — une moyenne continue — et après chaque pas mêlez-y le modèle vivant d'un cheveu : surtout le mélange gardé, une fine tranche du neuf. Comme un pot de peinture remué chaque jour : une touche fraîche mélangée chaque jour, la couleur tenant bon, ne dérivant que d'un cheveu à la fois. En clair : β proche de 1 garde presque toute l'ancienne moyenne et ne laisse entrer que 1−β des poids les plus récents.

Un seul réglage fixe jusqu'où remonte sa mémoire.

\bar{\theta}_t = (1-\beta)\sum_{k=0}^{t-1}\beta^{k}\,\theta_{t-k}, \qquad \sum_{k=0}^{\infty}(1-\beta)\beta^{k}=1, \qquad \tau=\frac{\beta}{1-\beta}

Déroulez ce mélange et chaque modèle passé compte encore — mais d'autant moins qu'il est ancien, s'effaçant géométriquement : poids (1−β)β^k sur le pas d'il y a k. Ces poids somment exactement à 1 (une moyenne propre), et la mémoire remonte d'environ 1/(1−β) pas. Comme des empreintes qui s'effacent dans la neige fraîche : celle que vous venez de laisser est nette, chaque plus ancienne s'adoucit à mesure que la poudreuse la comble — à β=0.999, les empreintes restent lisibles environ mille pas en arrière.

Pourquoi ça marche : moyenner annule le tremblement.

\operatorname{Var}(\bar{\theta}) = \frac{1-\beta}{1+\beta}\,\sigma^{2}, \qquad N_{\text{eff}} = \frac{1+\beta}{1-\beta}

Les instantanés se dispersent autour du vrai fond ; les moyenner annule la part aléatoire. Comme des cailloux lancés vers un repère : aucun jet ne tombe dessus, mais le centre de tous les points d'arrivée est pile sur la cible — et plus il y a de jets, plus ce centre est sûr. En clair : si chaque oscillation était indépendante, la moyenne gardée a une variance de (1−β)/(1+β) de celle d'un instantané — à β=0.999, comme en moyenner ≈2000.

Et il atterrit dans un endroit plus large et plus calme.

L\!\left(\frac{1}{T}\sum_{t=1}^{T}\theta_t\right) \le \frac{1}{T}\sum_{t=1}^{T} L(\theta_t)

Près du fond, le bassin est en forme de bol, donc par convexité les poids moyennés ne font pas pire que l'instantané typique — et souvent mieux, plus près du large centre plat. Comme le creux d'un hamac : asseyez-vous n'importe où et vous glissez vers le large milieu, un siège indulgent qui bouge à peine quand on le pousse. Cette largeur est l'essentiel : un minimum plat tolère des données nouvelles, donc le modèle moyenné généralise.

Mais ne moyennez que des versions proches l'une de l'autre.

Moyenner est sûr au sein d'un même bassin. Mêlez deux solutions vraiment différentes et vous obtenez le pire des deux. Comme couper la poire en deux entre deux routes autour d'un lac : visez la moyenne d'un itinéraire par chaque rive et vous foncez dans l'eau — le milieu de deux vallées, c'est la crête entre elles. Cela ne paie donc que tard, une fois la course posée dans un seul bol. Et le modèle gardé est un fantôme jamais exécuté : ses statistiques courantes exigent une passe fraîche avant qu'on s'y fie.

🌱 On garde un soi qu'aucun pas n'a jamais été.

Empilez chaque instantané et le modèle que l'on garde est un modèle qu'aucun pas d'entraînement n'a jamais produit — un consensus tranquille de versions. Comme une coquille de nautile : sa spirale lisse est chaque loge qu'elle a fait croître, toutes les versions antérieures tenues à la fois ; aucune loge n'est la coquille. Alors quelle est la version la plus vraie — la dernière leçon apprise, ou la calme moyenne de partout où il s'est tenu ? 🌱