La línea entre memorizar y entender. · Source

Puede clavar cada pregunta que estudió — y fallar todas las nuevas.

Un modelo puede sacar un 100 perfecto en los ejemplos con los que entrenó y tropezar en cuanto aparece algo desconocido. Esa brecha lo dice todo: memorizar no es entender. Como memorizar una sola ruta: izquierda en el roble, derecha en el granero rojo — impecable en ese camino, perdido en el primer desvío. La verdadera prueba siempre fue el camino que nunca has recorrido.

Se le califica por el pasado. Se le juzga por el futuro.

\begin{aligned} \hat{R}(f) &= \tfrac{1}{n}\sum_{i=1}^{n}\ell\!\big(f(x_i),y_i\big) \\ R(f) &= \mathbb{E}_{(x,y)\sim\mathcal{D}}\!\big[\ell(f(x),y)\big] \\ \text{gap}(f) &= R(f) - \hat{R}(f) \end{aligned}

El error que puede ver está en su conjunto de entrenamiento. El error que importa está en todo lo que aún no ha visto, y eso nunca puedes medirlo directamente. El espacio entre ambos es la brecha de generalización. Como un equipo que solo juega contra sí mismo: domina sus propias mañas, pero el marcador que cuenta llega frente a rivales que nunca ha enfrentado.

Hay dos formas de errar — y curar una alimenta la otra.

\mathbb{E}\big[(y-\hat{f}(x))^2\big] = \underbrace{\big(\text{Bias}[\hat{f}(x)]\big)^2}_{\text{too simple}} + \underbrace{\text{Var}[\hat{f}(x)]}_{\text{too eager}} + \underbrace{\sigma^2}_{\text{irreducible}}

Demasiado simple, y el modelo pierde la forma real: eso es sesgo. Demasiado ansioso, y traza cada bamboleo aleatorio: eso es varianza. El error total es su suma, más un ruido que nunca podrás vencer. Como la malla de una red de pesca: muy abierta y la captura se escapa; muy fina y subes limo y algas junto con los peces. El arte está en el tejido intermedio.

Tus ejemplos llevan la verdad — envuelta en azar.

Todo conjunto de datos es el patrón real más una niebla de azar: un caso mal etiquetado, una casualidad, la suerte de qué ejemplos te tocó reunir. Dale bastante margen a un modelo y memorizará también los accidentes, y los confundirá con la regla. Como aprender una canción de una sola grabación pirata en vivo: rebobínala lo suficiente y 'aprendes' la tos del público y el siseo de la cinta como si fueran notas.

Pasado el punto justo, más potencia se vuelve en tu contra.

R(f) - \hat{R}(f) \;\lesssim\; \sqrt{\dfrac{C}{n}}

Añade capacidad y el error de entrenamiento sigue bajando — pero el error en datos nuevos baja, toca fondo y vuelve a subir. Más espacio para ajustar es más espacio para memorizar. La cota clásica lo dice claro: la brecha crece con la complejidad y mengua con los datos. Como lijar una mesa: unas pasadas realzan la veta; sigue raspando el mismo punto y cavas un hueco que la arruina.

El único juez honesto es una pregunta que nunca ha visto.

\hat{R}_{\text{test}}(f) = \frac{1}{m}\sum_{j=1}^{m}\ell\!\big(f(x_j),y_j\big), \qquad \mathbb{E}\big[\hat{R}_{\text{test}}(f)\big] = R(f)

No puedes fiarte de su nota en lo que estudió: quizá solo lo memorizó. Así que aparta una porción de datos reales, no dejes que entrene con ellos y califica solo ahí. Esa nota reservada es tu único vistazo sin sesgo al error verdadero. Como un examen sellado: aparta preguntas reales que nunca estudia y rompe el sello solo para calificar. Espía una sola vez y el juez deja de ser honesto.

Ajustar el pasado nunca fue la meta. Enfrentar el futuro sí.

Un modelo que memoriza a la perfección sus datos de entrenamiento ha construido una tabla de consulta, no una comprensión del mundo. El premio nunca fue un error de entrenamiento bajo, sino un error bajo en todo lo que alguna vez encuentre. Entender no es más que generalizar con otro nombre. Como por fin leer el mapa: memoriza una ruta y posees un solo camino; entiende el terreno y sabrás orientarte en cualquier parte.

🌱 Trazamos la línea. Los modelos más grandes la cruzan sin más.

La vieja curva advertía que, pasado cierto punto, más complejidad solo daña. Y sin embargo los modelos más grandes cruzan ese punto — ajustan cada ejemplo al detalle, bamboleos incluidos — y luego mejoran en lo que nunca han visto. Quizá memorizar y entender nunca fueron los dos extremos de una misma línea. ¿Dónde cae, entonces, la línea de verdad?