El único carril compartido en el que cada capa escribe y lee. · Source

No es una torre de cajas. Es un solo carril donde todo escribe.

Imaginamos un modelo como una pila de capas, cada una pasando su trabajo a la siguiente. No del todo. Recorriendo toda la altura del modelo hay un único vector compartido: un carril de números, uno por token. Cada capa lee de este único carril y vuelve a escribir en él su respuesta. Nada se pasa de caja en caja. Todo se encuentra en el mismo lugar.

¿Cómo usa la última capa lo que encontró la primera?

Si cada capa solo oyera a la inmediatamente anterior, un hallazgo temprano sobreviviría únicamente al copiarse hacia adelante, paso tras paso, y todo lo que se difumina en el camino se pierde. Como el juego del teléfono: una frase susurrada a lo largo de una fila larga sale deformada. La solución no es un susurro más nítido. Es dejar de susurrar y permitir que cada capa escriba en el mismo carril compartido.

Cada capa lee el carril, le añade algo y no borra nada.

x_{\ell+1} = x_\ell + F_\ell(x_\ell) \qquad x_L = x_0 + \sum_{\ell=0}^{L-1} F_\ell(x_\ell)

Aquí está la jugada. Una capa lee todo el carril acumulado, calcula una corrección y la añade encima: nunca sobrescribe lo que hay. Como un muro levantado hilada a hilada: cada capa coloca su hilera sobre la anterior, sin derribar nada, así que el muro terminado es simplemente todas las hiladas sumadas. En pocas palabras: el estado final del modelo es el vector inicial más la nota añadida por cada capa.

En ese carril, un significado es una dirección.

\text{write: } x \leftarrow x + a\,\mathbf{u} \qquad \text{read: } s = \mathbf{u}^\top x \qquad x \approx \sum_i a_i\,\mathbf{u}_i

¿Cómo guardas una idea dentro de una sola lista de números que todos comparten? Como una dirección. Para escribir un rasgo, una capa añade una pequeña flecha que apunta en cierto sentido; para leerlo, una capa posterior mide cuánto se inclina el carril a lo largo de esa flecha. Como focos de colores sobre una sola pantalla: cada lámpara añade su tono a la misma pared, y para leer una lámpara compruebas cuánto de su color aparece. En pocas palabras: escribir añade una flecha, leer toma una sombra, y todo el carril es esas flechas sumadas.

Un carril de ancho fijo y, aun así, lleva miles de ideas.

\langle \mathbf{u}_i, \mathbf{u}_j \rangle = 0 \Rightarrow \text{at most } d \text{ directions} \qquad |\langle \mathbf{u}_i, \mathbf{u}_j \rangle| \le \varepsilon \Rightarrow N \sim e^{\,c\,\varepsilon^{2} d}

El carril tiene un ancho fijo: un número dado de ranuras, compartidas por cada capa y cada cabeza. Entonces, ¿cómo guarda muchísimas más ideas que ranuras? Las apiña casi, no del todo, separadas. Como pájaros apretados en un cable: unos pocos caben con espacio claro entre ellos, pero si se posan casi ala con ala el mismo cable sostiene muchos más, a costa de algún roce. En pocas palabras: solo unas pocas direcciones pueden estar exactamente separadas, pero un número enorme puede estar casi separado.

Detente en cualquier capa y podrás leer su conjetura actual.

p^{(\ell)} = \mathrm{softmax}\!\left( W_U\, x_\ell \right)

Como el carril es una única suma acumulada, puedes detenerte en cualquier capa, pasar ese vector a medio terminar por el mapa de salida del modelo y leer una respuesta provisional, una que se vuelve más nítida con la profundidad. Como una foto revelándose en la cubeta: la imagen es legible mucho antes de estar lista, solo que más tenue y más tosca. En pocas palabras: pasa el carril parcial por el mismo mapa que lee la conjetura final y sale la mejor respuesta del modelo hasta el momento (salvo un último reescalado).

Así que el modelo no es una torre. Es un mensaje que se aclara poco a poco.

Júntalo todo. No hay un relevo de cajas selladas: hay una sola corriente, y el modelo entero es el primer vector más la nota de cada capa, leído al final. La atención y los bloques feed-forward nunca se hablan directamente; se hablan dejando marcas en este carril compartido. Esto es la corriente residual: no la tubería entre el pensamiento, sino el lugar donde el pensamiento realmente se guarda.

Nada se borra, solo se escribe encima. ¿Eso es olvidar?

Cada cambio que hace una capa se añade al carril, nunca se elimina. Para retirar un pensamiento, el modelo no puede meter la mano y sacarlo; solo puede escribir encima su opuesto exacto, de modo que ambos se cancelen. El original sigue ahí, enterrado dentro de la suma. 🌱 Si una mente solo puede añadir, nunca borrar, ¿algo que alguna vez pensó desaparece de verdad?