Cómo un modelo evita que la señal de cada capa explote o se desvanezca. · Source

Profundiza lo suficiente y la señal estalla en silencio — o se apaga.

Una red profunda pasa su señal por capa tras capa. Cada una multiplica y suma, y los pequeños desequilibrios de escala se acumulan: para la décima capa, algunos números se han disparado y otros se han encogido casi a nada. Alimentada con ese desorden desigual, la capa siguiente no logra asentarse y el entrenamiento se atasca. El arreglo es casi de limpieza: antes de pasar la señal, enjuágala de vuelta a una escala sensata y estándar — cada capa, cada paso.

Capa tras capa, la escala se desvía — y nunca se queda quieta.

¿Por qué la profundidad hace esto? Cada capa reformula los números, y los pequeños sesgos de escala no se cancelan — se acumulan. Una característica se vuelve más fuerte en cada capa; otra se apaga. Así, las capas de más adelante reapuntan sin cesar a un blanco que no se queda quieto. Como una fotocopia de una fotocopia: cada copia se desvía un matiz más oscura o más clara, y cien copias después es ilegible. En palabras simples: nada está roto — la deriva es solo lo que hace apilar.

El arreglo: recentrar a cero, reescalar a una dispersión estándar.

\hat{x}_i = \dfrac{x_i - \mu}{\sqrt{\sigma^2 + \varepsilon}}

Así que reinicia la señal en cada capa. Dos movimientos: desliza todos sus números para que su promedio quede en cero, luego compáctalos o estíralos para que su dispersión sea uno. Entre lo que sea — minúsculo, enorme, desigual — sale con la misma forma ordenada. Como centrar una foto en un paspartú: mueve la imagen hasta dejarla justo en el centro, luego ajústala para que llene el mismo marco siempre. En palabras simples: resta el promedio y luego divide por la dispersión.

Y mide cada token solo por sus propios números.

\mu = \dfrac{1}{d}\sum_{i=1}^{d} x_i, \qquad \sigma^2 = \dfrac{1}{d}\sum_{i=1}^{d}(x_i - \mu)^2

Pero el promedio y la dispersión ¿de qué? Aquí está la elección callada y crucial. Los toma a lo largo de las características de ese único token — su propia lista privada de números — y de nada más. No de los otros ejemplos que fluyen junto a él. Como un cocinero que equilibra un solo plato: pruebas ese plato y lo ajustas por sí mismo, nunca promediando todo lo que sale de la cocina. Cada token se vuelve manejable usando solo lo que ya lleva dentro.

Luego dos perillas aprendidas pueden estirarla y desplazarla de vuelta.

y_i = \gamma_i\,\hat{x}_i + \beta_i

Una forma rígida de cero y uno sería una camisa de fuerza — a veces una característica debe ser fuerte, o estar descentrada. Así que dale a la capa dos controles entrenables: uno para reescalar, otro para redesplazar. Puede afinar la forma estándar — o, si conviene, deshacer del todo el reinicio y recuperar el original. Como una vela ajustada por dos cabos: uno fija cuánto se ahueca, el otro su ángulo — juntos atrapan cualquier viento, o lo dejan escapar plano. El reinicio es un punto de partida, no una jaula.

Como nunca mira de reojo, nunca se tambalea.

Esta elección de 'cada token por su cuenta' rinde en silencio. Como el reinicio de un token nunca depende de sus vecinos, se comporta igual ya proceses un ejemplo o mil, una indicación corta o larga, en el entrenamiento o en uso real. Como una plomada: cuélgala junto a una pared torcida o recta, con vendaval o en calma total, y sigue señalando la mismísima vertical verdadera. Nada a su alrededor puede desviarla de lo cierto.

Ahora cada capa recibe una señal limpia y lista para subir.

Suma todo. Cada capa recibe ahora su entrada en el mismo rango bien portado, así sus gradientes se mantienen sanos y puedes apilar cien capas y entrenarlas rápido — el propio paisaje de optimización se vuelve más suave. Como una esclusa de canal: un barco no puede remontar una ladera de agua de un envión, pero hazlo pasar cámara tras cámara, cada una nivelando el agua de nuevo, y sube una altura imposible. Junto a un cable de atajo que deja fluir la señal directa, por esto la profundidad por fin se volvió un ajuste que puedes subir.

Le dijimos que el tamaño no importa. Solo la forma. ¿Es cierto?

Da un paso atrás ante lo que acabamos de hacer. Para domar la pila profunda, declaramos que la mera magnitud de una señal no significa nada — solo su patrón, su forma relativa, puede portar sentido. Cada capa se ve obligada a hablar al mismo volumen; la intensidad se enjuaga y se devuelve solo si el modelo se la gana. 🌱 Pero ¿de verdad la intensidad está vacía? Cuando algo se siente de forma abrumadora, o apenas, solemos pensar que eso importa. ¿Qué convicción lavamos al volverlo todo neutro por defecto?