Por qué poner trabas a un modelo a propósito lo hace generalizar. · Source

Lo borda en cada ensayo y luego suspende en el mundo real.

Un modelo con espacio de sobra no entiende sus datos de entrenamiento: los memoriza, defectos y coincidencias incluidos. Como una flor de invernadero criada bajo un cristal perfecto, parece impecable hasta que se topa con el clima real. La cura suena al revés: lisiarlo a propósito mientras aprende.

La trampa: las neuronas conspiran en silencio.

A su aire, las unidades hacen tratos privados: una aprende a apoyarse en la salida exacta de otra. Como una pirámide humana: cada cuerpo se sostiene contra otros precisos, y se mantiene en pie solo mientras nadie se mueve. Saca a uno y toda la estructura se viene abajo. El modelo no aprende la señal: memoriza un arreglo frágil que solo se sostiene sobre los datos que vio.

La solución: silenciar a una mitad al azar en cada paso.

\tilde{\mathbf{h}} = \mathbf{r} \odot \mathbf{h}, \qquad r_j \sim \mathrm{Bernoulli}(p)

Dropout lanza una moneda por cada unidad en cada paso y pone a cero a las perdedoras: conserva cada una con probabilidad p, descarta el resto (⊙ multiplica la máscara). Como una línea de cocina donde estaciones al azar se apagan en pleno servicio: ningún plato puede depender de que un cocinero esté siempre ahí, así que cada uno aprende a valerse por sí mismo. Eso es ruido, inyectado a propósito: en una unidad que podría desaparecer no se puede confiar.

Un bono oculto: entrenaste a toda una multitud.

\tilde{h}_j = \frac{r_j}{p}\, h_j, \qquad \mathbb{E}\!\left[\tilde{h}_j\right] = h_j

Cada máscara aleatoria es una red adelgazada distinta: a lo largo del entrenamiento ejercitaste en silencio 2ⁿ de ellas, todas compartiendo un mismo juego de pesos. Como superponer muchos bocetos a mano alzada: cada uno está algo mal, pero apilados, sus errores se cancelan en un único parecido estable. Para cuadrar las cuentas, divide a los supervivientes entre p; luego, en la prueba, enciendes a todos y la red completa promedia a toda la multitud de golpe.

Otra palanca: cobrar una tarifa por los pesos grandes.

\tilde{L}(\mathbf{w}) = L(\mathbf{w}) + \frac{\lambda}{2}\lVert \mathbf{w}\rVert_2^2 \;\Rightarrow\; \mathbf{w} \leftarrow (1-\eta\lambda)\,\mathbf{w} - \eta\,\nabla L

Weight decay añade un precio a la pérdida por dejar que cualquier peso crezca, así que cada paso también empuja cada peso un poco hacia cero: ese es el factor (1−ηλ). Como podar un seto: recorta el crecimiento desbocado y emerge una forma limpia y simple. Un modelo mantenido pequeño no puede apostarlo todo a unas pocas coincidencias ruidosas; debe repartir su confianza entre evidencias pequeñas y compartidas.

Una apuesta bajo todas ellas.

\min_{\theta}\; L_{\text{data}}(\theta) + \lambda\,\Omega(\theta)

Quita los nombres y todo regularizador hace la misma apuesta: ajusta los datos, pero paga por la complejidad (eso es Ω). Como hacer una sola maleta de mano: el espacio pequeño y fijo te obliga a soltar todo lo que no se gane su lugar en cualquier viaje, así que conservas solo lo que viaja bien. El dial λ fija el tipo de cambio: súbelo y compras simplicidad, bájalo y compras memorización.

La lección: un lastre en el entrenamiento es fuerza en el mundo real.

Ruido, unidades caídas, pesos limitados: cada cosa hace el entrenamiento más difícil a propósito. Como correr con un chaleco lastrado: ahora cada zancada cuesta más, así que el día de la carrera, sin carga, eres mucho más fuerte y firme. Un modelo que aprende a rendir medio cegado y constreñido es justo el que aguanta cuando llega el mundo real, nunca visto.

Lo hicimos olvidar a propósito. Y entendió más.

🌱 No lo hicimos más grande ni le dimos más. Apagamos partes de él, al azar, y entendió más. Así que quizá olvidar no sea el enemigo de comprender, sino su precio. Y bajo cada truco late una apuesta callada: que la historia más simple que encaja es la más verdadera. ¿Pero y si no lo es? ¿Y si algunas verdades nunca debieron ser simples?