L'unique voie partagée où chaque couche écrit et lit. · Source

Ce n'est pas une tour de boîtes. C'est une seule voie où tout écrit.

On imagine un modèle comme une pile de couches, chacune transmettant son travail à la suivante. Pas tout à fait. Parcourant toute la hauteur du modèle, il y a un unique vecteur partagé : une voie de nombres, un par token. Chaque couche lit cette unique voie et y réécrit sa réponse. Rien ne passe de boîte en boîte. Tout se rejoint au même endroit.

Comment la dernière couche utilise-t-elle ce qu'a trouvé la première ?

Si chaque couche n'entendait que celle juste avant elle, une découverte précoce ne survivrait qu'en étant recopiée vers l'avant, étape après étape — et tout ce qui se brouille en chemin est perdu. Comme un téléphone arabe : une phrase chuchotée le long d'une longue file ressort déformée. Le remède n'est pas un chuchotement plus net. C'est d'arrêter de chuchoter et de laisser chaque couche écrire sur la même voie partagée.

Chaque couche lit la voie, y ajoute, n'efface rien.

x_{\ell+1} = x_\ell + F_\ell(x_\ell) \qquad x_L = x_0 + \sum_{\ell=0}^{L-1} F_\ell(x_\ell)

Voici le geste. Une couche lit toute la voie accumulée, calcule une correction et l'ajoute par-dessus : elle n'écrase jamais ce qui s'y trouve. Comme un mur monté assise par assise : chaque couche pose sa rangée sur la précédente, sans rien abattre, si bien que le mur achevé n'est que toutes les assises additionnées. En clair : l'état final du modèle, c'est le vecteur de départ plus la note ajoutée par chaque couche.

Sur cette voie, un sens est une direction.

\text{write: } x \leftarrow x + a\,\mathbf{u} \qquad \text{read: } s = \mathbf{u}^\top x \qquad x \approx \sum_i a_i\,\mathbf{u}_i

Comment ranger une idée dans une seule liste de nombres que tout le monde partage ? Comme une direction. Pour écrire une caractéristique, une couche ajoute une petite flèche pointant dans un sens ; pour la lire, une couche ultérieure mesure à quel point la voie penche le long de cette flèche. Comme des projecteurs de couleur sur un seul écran : chaque lampe ajoute sa teinte au même mur, et pour lire une lampe on regarde quelle part de sa couleur apparaît. En clair : écrire ajoute une flèche, lire prend une ombre, et la voie entière n'est que ces flèches additionnées.

Une voie de largeur fixe — et pourtant elle porte des milliers d'idées.

\langle \mathbf{u}_i, \mathbf{u}_j \rangle = 0 \Rightarrow \text{at most } d \text{ directions} \qquad |\langle \mathbf{u}_i, \mathbf{u}_j \rangle| \le \varepsilon \Rightarrow N \sim e^{\,c\,\varepsilon^{2} d}

La voie a une largeur fixe : un nombre donné de cases, partagées par chaque couche et chaque tête. Alors comment contient-elle bien plus d'idées que de cases ? Elle les tasse presque, pas tout à fait, séparées. Comme des oiseaux serrés sur un fil : quelques-uns tiennent avec de l'espace entre eux, mais qu'ils se perchent presque aile contre aile et le même fil en porte bien plus — au prix d'un peu de bousculade. En clair : seules quelques directions peuvent être exactement distinctes, mais un nombre énorme peut l'être presque.

Arrêtez-vous à n'importe quelle couche : vous pouvez lire sa supposition du moment.

p^{(\ell)} = \mathrm{softmax}\!\left( W_U\, x_\ell \right)

Comme la voie est une seule somme cumulée, vous pouvez vous arrêter à n'importe quelle couche, passer ce vecteur à moitié fait par la carte de sortie du modèle, et lire une réponse provisoire — qui s'affine avec la profondeur. Comme une photo qui se développe dans le bac : l'image est lisible bien avant d'être finie, juste plus pâle et plus grossière. En clair : faites passer la voie partielle par la même carte qui lit la supposition finale, et il en sort la meilleure réponse du modèle à cet instant (à un dernier redimensionnement près).

Le modèle n'est donc pas une tour. C'est un message qui s'éclaircit peu à peu.

Rassemblez le tout. Il n'y a pas de relais de boîtes scellées — il y a un seul flux, et le modèle entier, c'est le premier vecteur plus la note de chaque couche, lue à la fin. L'attention et les blocs feed-forward ne se parlent jamais directement ; ils se parlent en laissant des marques sur cette voie partagée. C'est le flux résiduel — non la tuyauterie entre la pensée, mais l'endroit où la pensée est réellement gardée.

Rien n'est effacé — seulement recouvert. Est-ce oublier ?

Chaque changement qu'opère une couche est ajouté à la voie — jamais supprimé. Pour reprendre une pensée, le modèle ne peut pas y plonger la main et la retirer ; il peut seulement écrire par-dessus son opposé exact, pour que les deux s'annulent. L'original est toujours là, enfoui dans la somme. 🌱 Si un esprit ne peut qu'ajouter, jamais effacer, quelque chose qu'il a pensé un jour disparaît-il vraiment ?