Cómo una red profunda entrena rápido: juzgando cada valor frente a su lote. · Source

Un truco hizo que las redes profundas entrenaran mucho más rápido: juzgar cada valor por su lote.

Entrena una red profunda y los números que la recorren oscilan sin control, así que había que avanzar a pasitos diminutos y cautelosos. La normalización por lotes lo arregló con una jugada extraña: juzgar cada valor no por sí solo, sino frente a los demás de su lote. La misma red entrenó de pronto varias veces más rápido, y se hicieron posibles torres mucho más profundas.

Cada capa aprende de un objetivo que no se queda quieto.

Una red profunda es una pila: cada capa lee lo que la capa de abajo le envía. Pero el entrenamiento mueve esas capas inferiores en cada paso, así que la distribución de números que ve cada capa no deja de derivar. Como poner ladrillos sobre cemento fresco: cada hilada que asientas, los cimientos vuelven a moverse, y pasas el tiempo renivelando en vez de construir.

La solución: puntuar cada valor frente a todo su lote.

\mu_B = \frac{1}{m}\sum_{i=1}^{m} x_i, \qquad \sigma_B^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i-\mu_B)^2, \qquad \hat{x}_i = \frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\varepsilon}}

Así que fija los números. Para cada característica, reúne sus valores en todo el minilote, resta la media del lote y divide por la dispersión. Ahora cada característica llega centrada en cero con un ancho estándar: se acabaron las oscilaciones salvajes. Como calificar en curva: una nota en bruto dice poco hasta que la ves frente a todos los que hicieron el mismo examen.

Pero forzar cero y uno tira señal de verdad.

y_i = \gamma\,\hat{x}_i + \beta

Aplanar cada característica a la misma forma puede borrar información que la red necesita. Así que dale dos diales aprendidos por característica: uno para estirar el ancho de nuevo, otro para deslizar el centro; incluso puede anular el paso entero si conviene a la tarea. Como un soplador de vidrio: primero funde todo en una bola uniforme e incandescente, y luego da a esa base limpia exactamente la forma que quieras.

Ahora el destino de cada valor depende de sus compañeros de lote.

\hat{\mu} \leftarrow (1-\rho)\,\hat{\mu} + \rho\,\mu_B, \qquad \hat{\sigma}^2 \leftarrow (1-\rho)\,\hat{\sigma}^2 + \rho\,\sigma_B^2, \qquad y = \gamma\,\frac{x-\hat{\mu}}{\sqrt{\hat{\sigma}^2+\varepsilon}} + \beta

Hay un precio: como el promedio sale del lote, la salida de un ejemplo depende ahora de quién más viajara con él. Y al probar puede que tengas un solo dato: ningún lote que promediar. La solución: durante el entrenamiento, lleva en silencio un promedio móvil de la media y la dispersión, y usa esos números congelados cuando estés a solas. Como un panadero con oficio: a lo largo de toda una temporada de hornadas aprendes las mañas del horno, y así puedes hornear un solo pan de memoria.

Por qué funciona no es la historia que contamos al principio.

La idea original era que frena esas distribuciones a la deriva: el cemento movedizo de antes. Trabajos posteriores lo rebatieron: la razón más honda es que normalizar suaviza el paisaje de pérdida, de modo que los gradientes se mantienen mansos y los pasos grandes y audaces no estallan. Como cepillar una tabla alabeada: rebaja las crestas que obligaban a pasadas diminutas y cautelosas, y cada pasada puede ser larga y segura.

Una idea, dos gemelas — y por qué los transformers eligieron la otra.

Así que la receta es simple: aplanar a una base limpia y dejar que la red la rehaga. Solo eso volvió entrenables redes de visión muy profundas. Pero apoyarse en el lote es el punto débil: lotes diminutos o desiguales envenenan el promedio. Suelta el lote y normaliza en cambio cada ejemplo a lo largo de sus propias características, y obtienes a su gemela, la normalización por capas, sobre la que corren los transformers.

🌱 Un valor juzgado por su compañía: ¿eso habla del valor o de la sala?

Durante el entrenamiento, ese mismo valor se normaliza distinto según qué ejemplos compartan su lote; su significado se dobla con la compañía que tiene. Alabamos a un modelo por sopesar cada entrada por sus propios méritos; y sin embargo aquí, por un tiempo, el destino de una entrada dependió de la multitud con la que llegó. ¿Cuándo afina el contexto un juicio, y cuándo lo sustituye en silencio?