MENTRIA_

Comment un modèle empêche le signal de chaque couche d'exploser ou de s'éteindre.

SRC·22 Source
Allez assez profond et le signal explose en silence — ou s'éteint.

Allez assez profond et le signal explose en silence — ou s'éteint.

Un réseau profond fait passer son signal de couche en couche. Chacune multiplie et additionne, et de minuscules déséquilibres d'échelle s'accumulent : à la dixième couche, certains nombres ont explosé, d'autres se sont réduits à presque rien. Nourrie de ce fouillis déséquilibré, la couche suivante n'arrive pas à se stabiliser, et l'entraînement cale. Le remède est presque ménager : avant de transmettre le signal, rincez-le pour le ramener à une échelle saine et standard — à chaque couche, à chaque pas.
Couche après couche, l'échelle dérive — et ne tient jamais en place.

Couche après couche, l'échelle dérive — et ne tient jamais en place.

Pourquoi la profondeur fait-elle cela ? Chaque couche remodèle les nombres, et les petits biais d'échelle ne s'annulent pas — ils s'accumulent. Une caractéristique monte d'un cran à chaque couche ; une autre s'éteint. Si bien que les couches en aval revisent sans cesse leur visée vers une cible qui ne tient pas en place. Comme une photocopie d'une photocopie : chaque copie dérive d'une nuance plus sombre ou plus claire, et cent copies plus loin, c'est illisible. En clair : rien n'est cassé — la dérive, c'est simplement ce que produit l'empilement.
Le remède : recentrer à zéro, redimensionner à un écart standard.

Le remède : recentrer à zéro, redimensionner à un écart standard.

x^i=xi−μσ2+ε\hat{x}_i = \dfrac{x_i - \mu}{\sqrt{\sigma^2 + \varepsilon}}
Réinitialisez donc le signal à chaque couche. Deux gestes : décalez tous ses nombres pour que leur moyenne tombe à zéro, puis comprimez-les ou étirez-les pour que leur écart vaille un. Quoi qu'il entre — minuscule, énorme, déséquilibré — il ressort dans la même forme nette. Comme centrer une photo dans un passe-partout : bougez l'image jusqu'à ce qu'elle soit pile au centre, puis dimensionnez-la pour qu'elle remplisse le même cadre à chaque fois. En clair : soustrayez la moyenne, puis divisez par l'écart.
Et il mesure chaque token par ses seuls propres nombres.

Et il mesure chaque token par ses seuls propres nombres.

μ=1d∑i=1dxi,σ2=1d∑i=1d(xi−μ)2\mu = \dfrac{1}{d}\sum_{i=1}^{d} x_i, \qquad \sigma^2 = \dfrac{1}{d}\sum_{i=1}^{d}(x_i - \mu)^2
Mais la moyenne et l'écart de quoi ? Voici le choix discret et décisif. Il les prend sur les caractéristiques de ce seul token — sa propre liste privée de nombres — et rien d'autre. Pas les autres exemples qui défilent à côté de lui. Comme un cuisinier qui équilibre une seule assiette : vous goûtez ce plat et l'ajustez en lui-même, jamais en moyennant tout ce qui sort de la cuisine. Chaque token devient bien élevé en n'utilisant que ce qu'il porte déjà en lui.
Ensuite, deux molettes apprises peuvent l'étirer et la décaler à nouveau.

Ensuite, deux molettes apprises peuvent l'étirer et la décaler à nouveau.

yi=γi x^i+βiy_i = \gamma_i\,\hat{x}_i + \beta_i
Une forme rigide à zéro et un serait une camisole de force — parfois une caractéristique doit être forte, ou décentrée. Donnez donc à la couche deux commandes entraînables : une pour redimensionner, une pour redécaler. Elle peut affiner la forme standard — ou, si cela vaut le coup, défaire entièrement la remise à zéro et retrouver l'original. Comme une voile réglée par deux cordages : l'un fixe son creux, l'autre son angle — ensemble ils captent n'importe quel vent, ou le laissent fuir à plat. La remise à zéro est un point de départ, pas une cage.
Comme il ne regarde jamais de côté, il ne vacille jamais.

Comme il ne regarde jamais de côté, il ne vacille jamais.

Ce choix de « chaque token pour soi » paie en silence. Puisque la remise à zéro d'un token ne dépend jamais de ses voisins, il se comporte à l'identique que vous traitiez un exemple ou mille, une invite courte ou longue, à l'entraînement ou en usage réel. Comme un fil à plomb : suspendez-le près d'un mur de travers ou bien droit, par grand vent ou dans le calme plat, il indique toujours la même verticale vraie. Rien autour de lui ne peut le détourner du vrai.
Désormais, chaque couche reçoit un signal propre, prêt à monter.

Désormais, chaque couche reçoit un signal propre, prêt à monter.

Faites la somme. Chaque couche reçoit désormais son entrée dans la même plage bien élevée, si bien que ses gradients restent sains et qu'on peut empiler cent couches et les entraîner vite — le paysage d'optimisation lui-même devient plus lisse. Comme une écluse de canal : un bateau ne peut pas gravir une colline d'eau d'un seul élan, mais faites-le passer de sas en sas, chacun renivelant l'eau, et il s'élève d'une hauteur impossible. Couplé à un fil de raccourci qui laisse le signal filer tout droit, voilà pourquoi la profondeur est enfin devenue un réglage qu'on peut pousser.
On lui a dit que la taille ne compte pas. Seule la forme. Vraiment ?

On lui a dit que la taille ne compte pas. Seule la forme. Vraiment ?

Prenez du recul devant ce qu'on vient de faire. Pour dompter la pile profonde, on a décrété que la simple grandeur d'un signal ne signifie rien — seul son motif, sa forme relative, a le droit de porter du sens. Chaque couche est forcée de parler au même volume ; l'intensité est rincée, rendue seulement si le modèle la mérite. 🌱 Mais l'intensité est-elle vraiment vide ? Quand une chose est ressentie de façon écrasante, ou à peine, on a tendance à penser que cela compte. Quelle conviction a-t-on lessivée en rendant tout neutre par défaut ?
touchez →balayez ↑ pour approfondirbalayez ↓ pour quitter