Por qué un montón de líneas rectas necesita un doblez para pensar. · Source

Apila cien capas. Sin un solo doblez, sigues teniendo una.

Una red profunda son capas sobre capas: seguro que más capas dan más poder. No es así. Sin un pequeño truco encajado entre ellas, cien capas hacen exactamente lo que hace una: trazar una sola línea recta. La razón de que la profundidad funcione —la razón de que un modelo pueda aprender algo curvo, enredado o real— es un gesto humilde llamado función de activación. El doblez. Veamos por qué un montón de líneas rectas sigue siendo solo una línea recta.

Dos pasos rectos seguidos son, en secreto, uno solo.

W_2(W_1 x + b_1) + b_2 = (W_2 W_1)\,x + (W_2 b_1 + b_2) = W' x + b'

Como láminas de vidrio transparente: mira a través de diez láminas planas y la vista es tan recta como a través de una; ningún montón de vidrio plano curva la luz. Una capa sin doblez es igual: solo estira y rota el espacio, un mapa de línea recta. Encadena dos y las matemáticas las funden en un único mapa de línea recta; lo mismo con cien. La profundidad, por sí sola, no te da nada.

Un corte recto no puede separar esto.

f_{\text{lin}}(x)=\operatorname{sign}(w^\top x + b)\quad(\text{one straight cut});\qquad \text{XOR}:\ (0,0)\!\to\!0,\ (0,1)\!\to\!1,\ (1,0)\!\to\!1,\ (1,1)\!\to\!0

Como una cuerda sobre un tablero de ajedrez: tiende una cuerda tensa sobre las casillas e intenta dejar cada casilla oscura a un lado y cada clara al otro: no puedes, el patrón se entrelaza. La tarea real más simple, XOR, es justo esto: dos clases que no puedes separar con una sola línea recta. Un modelo de línea recta es ciego ante ella. El mundo está lleno de estos casos, y los mapas planos no pueden rodearlos.

La solución es casi nada: un solo doblez.

\operatorname{ReLU}(x)=\max(0,\,x)

Como una bisagra en una barra de acero: una barra recta no puede cambiar de dirección, hasta que le añades una bisagra y entonces se dobla. Después de cada capa de línea recta, aplica un doblez simple: conserva lo positivo, aplana el resto a cero. Ese quiebre es la ReLU, la no linealidad más barata que existe. Una bisagra hace poco. Pero una bisagra tras cada capa convierte una regla rígida en algo capaz de doblarse en torno a cualquier cosa.

¿Por qué este doblez y no las viejas curvas que lo achataban todo?

\sigma'(x)=\sigma(x)\bigl(1-\sigma(x)\bigr)\le \tfrac{1}{4}\ \Rightarrow\ \prod_{l=1}^{L}\sigma' \le \left(\tfrac{1}{4}\right)^{L}\!\to 0;\qquad \operatorname{ReLU}'(x)=1\ \ (x>0)

Las primeras redes se doblaban con una curva en S que se aplana en ambos extremos. Como una pelota que cae en espuma profunda: cada capa blanda y plana se traga el empujón, y a lo largo de muchas capas la señal de aprendizaje muere antes de regresar: el temido gradiente que se desvanece. El lado positivo de la ReLU es un suelo duro con pendiente exactamente uno: la señal rebota de vuelta, sin atenuarse. Por eso las pilas profundas por fin entrenaron: el doblez dejó respirar a la señal.

Pero la bisagra tiene un codo muerto. Así que redondéalo.

\operatorname{GELU}(x)=x\,\Phi(x),\qquad \Phi(x)=\tfrac{1}{2}\left[\,1+\operatorname{erf}\!\left(\tfrac{x}{\sqrt{2}}\right)\right]

La esquina de la ReLU es afilada: para toda entrada negativa la pendiente es cero plano, y una neurona atrapada ahí queda muerta, sin pendiente que seguir, sin forma de aprender. Como una rampa en vez de un bordillo: una rueda se atasca contra un borde duro, pero sube suave por una cuesta gradual. Los dobleces suaves como GELU redondean la esquina: una compuerta suave que se abre casi del todo para entradas grandes y se entorna para las pequeñas, dejando una pendiente útil en todas partes.

Tramos rectos más dobleces pueden trazar cualquier forma.

\forall\,\varepsilon>0\ \ \exists\,N:\quad \left|\,g(x)-\sum_{i=1}^{N} c_i\,\sigma\!\left(w_i^\top x + b_i\right)\right|<\varepsilon

Aquí está la recompensa. Como doblar un alambre hasta una silueta: un alambre recto y rígido solo traza una línea, pero con suficientes dobleces pequeños dibuja el contorno que quieras: un pájaro, una costa, una firma. Una capa lineal coloca los tramos rectos; la activación añade los dobleces. Apila suficientes y la red puede aproximar cualquier forma continua, con la precisión que quieras. Ese es el famoso resultado, y muere en cuanto quitas el doblez.

🌱 Cada curva que dibuja son, en realidad, líneas rectas.

Mira de cerca lo que construye el doblez. Una red de estos simples quiebres no traza una curva verdadera en absoluto: traza incontables tramos rectos diminutos, ajustados tan finamente que solo parecen suaves. Toda la gracia de un modelo profundo —cada arco elegante de pensamiento— es una escalera, lijada hasta que los escalones desaparecen. 🌱 ¿Es real la curva, entonces? ¿O la suavidad es solo rectitud, cortada lo bastante fina para engañarnos?