Cómo un diminuto ganador se esconde dentro de un gigante desde el principio. · Source

Una red entrenada es casi todo relleno. El ganador ya estaba al nacer.

Entrena una red gigante y podrás tirar casi toda. Enterrada en sus números iniciales aleatorios había una subred diminuta que, por sí sola, podría haber aprendido toda la tarea. Como un bombo de lotería: caen miles de bolas, y la rara bola dorada ya era dorada desde el principio: entrenar no construye al ganador, encuentra el boleto que ya tenía suerte.

Borra el 90% de los pesos más pequeños. Apenas se inmuta.

m \in \{0,1\}^{|\theta|}, \qquad s = 1 - \frac{\lVert m\rVert_0}{|\theta|}

Toma una red ya entrenada y corta las conexiones cuyos pesos están más cerca de cero —a menudo el 90%— y la precisión se mantiene. Una máscara marca cada peso como conservar o cortar, un 1 o un 0; la dispersión es solo la fracción que cortaste. Como un camión de mudanzas lleno: casi todo lo que hay dentro es relleno; quítalo y los pocos muebles de verdad son todo lo que se transportaba.

¿Por qué llamarlo lotería? Cuenta las subredes posibles.

\#\{\text{subnetworks}\} = 2^{N}, \qquad N = |\theta|

Cada peso está dentro o fuera, así que una red de N pesos esconde 2^N subredes posibles, más que átomos hay en el cielo. Casi todas son inútiles; unas poquísimas son ganadoras. Como una bandeja de monedas lanzadas: con suficientes monedas, los patrones de cara y cruz son astronómicos: casi ninguno es nada, unos pocos forman un ganador, y el lanzamiento se decidió en el instante en que cayeron.

La receta: entrena, corta los débiles y rebobina el resto.

m_i = \mathbb{1}\!\left[\,|\theta_i| \ge \tau\,\right], \qquad \theta_{\text{ticket}} = m \odot \theta_0

Así encuentras un ganador. Entrena un rato, luego corta cada peso que se quedó pequeño (por debajo de un umbral τ) y conserva los que se hicieron fuertes. Ahora el giro: no afines a los supervivientes; devuélvelos exactamente a los valores con los que nacieron, θ₀. Como el aparejo de un barco: suelta los cabos flojos, conserva los pocos en verdadera tensión y vuelve a tensar cada uno justo al ajuste con el que se aparejó al principio, no a una tensión nueva.

$La prueba: conserva el cableado, baraja el inicio: fracasa.$

La prueba: conserva el cableado, baraja el inicio: fracasa.

a(m \odot \theta_0) \approx a_{\text{dense}} \;>\; a(m \odot \theta_0'), \qquad \theta_0' \sim \mathcal{D}

¿Por qué rebobinar, en vez de arrancar a esos supervivientes desde cero? Porque la suerte está en los valores de nacimiento. Conserva exactamente el mismo cableado pero vuelve a sortear sus números iniciales al azar, y la magia se esfuma: entrena más lento y llega más abajo. Como una caja de música: conserva el mismo peine y el mismo cilindro, pero cambia sus púas a posiciones al azar y solo sale ruido. La melodía vivía en la colocación original, no en el mecanismo por sí solo.

Pela un poco, rebobina, repite: hasta un décimo que aún gana.

\frac{\lVert m\rVert_0}{|\theta|} = (1-p)^{r}

Una pasada poda con suavidad, así que repite: corta una porción, rebobina, reentrena, corta otra. Quita una fracción p en cada ronda y tras r rondas solo queda (1−p)^r de los pesos: pela cinco veces y apenas queda un tercio. Aun así, con el 10–20% de sus pesos la red sigue igualando a la completa. Como tallar una flauta: quita una viruta, prueba la nota, quita otra; el bloque grueso se vuelve un instrumento esbelto que toca todas las melodías que tocaba el bloque entero.

La trampa honesta: las redes grandes rebobinan a un paso temprano, no al paso cero.

\theta_{\text{ticket}} = m \odot \theta_k, \qquad 0 < k \ll T

La primera versión decía paso cero: el primerísimo instante. A escala real, eso es demasiado frágil. El arreglo es más suave: deja que la red entrene un rato primero, y luego rebobina a los supervivientes a ese punto de control temprano θ_k, no al nacimiento. Como curar el hormigón: no puedes fiarte de la junta en el instante en que se vierte; dale unas horas para fraguar y entonces aguanta. Un boleto ganador necesita un momento para afianzarse antes de ser estable.

🌱 Entrenamos una mansión para quedarnos con una sola habitación. ¿Por qué construir la mansión?

Si una astilla podía hacerlo todo, ¿por qué entrenar al gigante entero? Quizá los pesos de más no eran desperdicio: quizá eran los muchos caminos que dejaron que el entrenamiento tropezara con el afortunado. Quítalos primero y la búsqueda queda en nada. Entonces, ¿qué es?: ¿es toda esa capacidad el precio de encontrar la respuesta, o la respuesta necesitaba espacio para ser hallada?