Cómo un cable diminuto deja que una red sea de verdad profunda. · Source

Más capas deberían ayudar. Pasado un punto, perjudican.

Apila unas pocas capas y la red mejora. Apila cien y ocurre algo extraño: empeora — y no por memorizar. Ni siquiera logra ajustar lo que ya ha visto. La profundidad misma se volvió el obstáculo. El arreglo es un solo cable, casi demasiado simple para creerlo: deja que la entrada de cada capa se salte adelante y se sume a la salida.

Una red profunda debería copiar a una superficial. No pudo.

Aquí está el enigma. Una red profunda siempre podría igualar a una superficial — basta con que las capas de más no hagan nada, que dejen pasar la señal. Y sin embargo, las pilas profundas simples no lograban aprender ni eso. Como una cadena de cubos: pasa un balde lleno por una larga fila de manos y llega medio vacío — cada relevo derrama un poco. Aprender a tan solo preservar una señal, a lo largo de decenas de capas, resulta ser difícil.

No rehagas todo. Solo añade el cambio.

\mathcal{H}(x) = \mathcal{F}(x) + x

Así que invierte la tarea. No le pidas a la capa que reconstruya la respuesta desde cero — pídele solo la corrección que hay que sumar. La entrada pasa intacta; la capa aporta solo la diferencia. Como el bolígrafo rojo de un corrector: no vuelves a copiar la página, marcas lo que cambia. En palabras simples: la salida es la entrada más el pequeño retoque que esta capa aprendió.

Ahora no hacer nada es lo natural.

\mathcal{F}(x)\to 0 \;\Rightarrow\; \mathcal{H}(x) = x

Mira lo que esto consigue. Para dejar la señal en paz, a la capa le basta con poner su corrección a cero — y la entrada se desliza directa. Como una piedra de curling sobre el hielo: suéltala sin barrer y sigue exactamente como llegó. La identidad ya no es algo difícil de aprender — es el estado de reposo, gratis. La capa solo tiene que aprender cuánto empujar a partir de ahí.

El mismo cable es una autopista para el aprendizaje.

\frac{\partial \mathcal{L}}{\partial x} = \frac{\partial \mathcal{L}}{\partial y}\left(1 + \frac{\partial \mathcal{F}}{\partial x}\right)

Hay un regalo más profundo, escondido en la matemática de la retropropagación. Deriva el atajo y aparece un 1 junto al término propio de la capa. Ese 1 devuelve la señal de aprendizaje directa, sin diluir — así hasta las primeras capas la sienten con claridad. Como un poste de bomberos: lánzate desde arriba y llegas abajo en un solo deslizamiento recto, saltándote cada piso. Así muere el gradiente que se desvanece.

Así, toda la red es una sola suma acumulada.

x_L = x_\ell + \sum_{i=\ell}^{L-1}\mathcal{F}(x_i)

Aléjate y la torre se disuelve. Cada bloque no reemplaza la señal — le suma una pequeña actualización a una corriente que los atraviesa a todos. La característica profunda es solo la primera más la pequeña contribución de cada bloque. Como monedas que caen en un frasco: el nivel solo sube por pequeñas adiciones, y el total es toda la historia. Las capas no transforman la señal tanto como siguen editando una compartida.

Este único cable es por qué las redes se hicieron profundas.

Antes del atajo, las redes útiles tenían decenas de capas. Después, cientos — incluso mil — se entrenaban sin desmoronarse. Como el cable principal de un puente colgante: una línea continua, de extremo a extremo, deja que el vano se extienda mucho más de lo que aguantaría una sola viga. Ese mismo cable atraviesa hoy cada bloque transformer del que has oído hablar. La profundidad dejó de ser un muro y se volvió un dial.

Si cada capa solo empuja un poco, ¿dónde piensa?

Aquí está la inquietud. Si la señal fluye casi recta a través, y cada capa solo añade una corrección tenue a una corriente que ya es casi la respuesta — entonces, ¿dónde vive realmente la red? ¿En las capas atareadas que empujan, o en la corriente callada que nunca dejan de editar? 🌱 Quizá la profundidad nunca fue una pila de pensadores. Quizá sea una larga y lenta reconsideración.