Comment un réseau profond s'entraîne vite — en jugeant chaque valeur face à son lot. · Source

Une astuce a permis aux réseaux profonds de s'entraîner bien plus vite : juger chaque valeur par son lot.

Entraînez un réseau profond et les nombres qui le traversent oscillent de façon folle — il fallait donc avancer par tout petits pas prudents. La normalisation par lots a tout changé par un geste étrange : juger chaque valeur non pas seule, mais face aux autres de son lot. Le même réseau s'est soudain entraîné plusieurs fois plus vite, et des tours bien plus profondes sont devenues possibles.

Chaque couche apprend d'une cible qui ne tient pas en place.

Un réseau profond est une pile : chaque couche lit ce que la couche du dessous lui envoie. Mais l'entraînement bouscule ces couches inférieures à chaque pas — la distribution des nombres que voit chaque couche ne cesse donc de dériver. Comme poser des briques sur du béton frais : chaque rangée que vous posez, les fondations bougent encore, et vous passez votre temps à remettre de niveau au lieu de monter.

La solution : noter chaque valeur face à tout son lot.

\mu_B = \frac{1}{m}\sum_{i=1}^{m} x_i, \qquad \sigma_B^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i-\mu_B)^2, \qquad \hat{x}_i = \frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\varepsilon}}

Alors fixez les nombres. Pour chaque caractéristique, rassemblez ses valeurs sur tout le mini-lot, soustrayez la moyenne du lot et divisez par l'étendue. Chaque caractéristique arrive désormais centrée sur zéro avec une largeur standard — fini les oscillations folles. Comme noter sur une courbe : une note brute ne dit pas grand-chose tant qu'on ne la voit pas face à tous ceux qui ont passé le même examen.

Mais forcer zéro et un jette du vrai signal.

y_i = \gamma\,\hat{x}_i + \beta

Aplatir chaque caractéristique à la même forme peut effacer une information dont le réseau a besoin. Donnez-lui donc deux molettes apprises par caractéristique : une pour étirer de nouveau la largeur, une pour glisser le centre — il peut même annuler toute l'étape si cela sert la tâche. Comme un souffleur de verre : fondez d'abord le tout en une boule uniforme et incandescente, puis façonnez cette base nette exactement dans la forme voulue.

Désormais le sort de chaque valeur dépend de ses voisins de lot.

\hat{\mu} \leftarrow (1-\rho)\,\hat{\mu} + \rho\,\mu_B, \qquad \hat{\sigma}^2 \leftarrow (1-\rho)\,\hat{\sigma}^2 + \rho\,\sigma_B^2, \qquad y = \gamma\,\frac{x-\hat{\mu}}{\sqrt{\hat{\sigma}^2+\varepsilon}} + \beta

Il y a un prix : comme la moyenne vient du lot, la sortie d'un exemple dépend maintenant de qui l'accompagnait. Et au test, vous n'avez peut-être qu'une entrée — aucun lot à moyenner. La solution : pendant l'entraînement, tenez discrètement une moyenne glissante de la moyenne et de l'étendue, puis servez-vous de ces nombres figés une fois seul. Comme un boulanger chevronné : au fil de toute une saison de fournées, vous apprenez les caprices du four, et vous pouvez cuire un seul pain de mémoire.

Pourquoi ça marche n'est pas l'histoire qu'on a d'abord racontée.

L'argument d'origine était qu'elle stoppe ces distributions à la dérive — le béton mouvant de tout à l'heure. Des travaux ultérieurs ont objecté : la raison plus profonde, c'est que normaliser lisse le paysage de la perte, si bien que les gradients restent doux et que les grands pas hardis n'explosent pas. Comme raboter une planche gauchie : ôtez les crêtes qui imposaient de petites passes prudentes, et chaque passe peut filer, longue et assurée.

Une idée, deux jumelles — et pourquoi les transformers ont choisi l'autre.

La recette est donc simple : aplatir vers une base nette, puis laisser le réseau la remodeler. Cela seul a rendu entraînables des réseaux de vision très profonds. Mais s'appuyer sur le lot est le point faible — des lots minuscules ou déséquilibrés empoisonnent la moyenne. Laissez tomber le lot et normalisez plutôt chaque exemple sur ses propres caractéristiques, et vous obtenez sa jumelle, la normalisation par couches — celle qui fait tourner les transformers.

🌱 Une valeur jugée par sa compagnie : est-ce la valeur, ou la salle ?

Pendant l'entraînement, cette même valeur est normalisée différemment selon les exemples qui partagent son lot ; son sens plie avec la compagnie qu'elle côtoie. On félicite un modèle de peser chaque entrée selon ses propres mérites — et pourtant ici, un temps, le sort d'une entrée a dépendu de la foule avec laquelle elle est arrivée. Quand le contexte affûte-t-il un jugement, et quand le remplace-t-il en silence ?