La frontière entre mémoriser et comprendre. · Source

Il peut réussir chaque question révisée — et rater toutes les nouvelles.

Un modèle peut décrocher un 100 parfait sur les exemples vus à l'entraînement, puis trébucher dès qu'apparaît quelque chose d'inconnu. Tout est dans cet écart : mémoriser n'est pas comprendre. Comme mémoriser un seul trajet : à gauche au chêne, à droite à la grange rouge — parfait sur cette route, perdu au premier détour. Le vrai test, c'était toujours la route jamais empruntée.

On le note sur le passé. On le juge sur l'avenir.

\begin{aligned} \hat{R}(f) &= \tfrac{1}{n}\sum_{i=1}^{n}\ell\!\big(f(x_i),y_i\big) \\ R(f) &= \mathbb{E}_{(x,y)\sim\mathcal{D}}\!\big[\ell(f(x),y)\big] \\ \text{gap}(f) &= R(f) - \hat{R}(f) \end{aligned}

L'erreur qu'il peut voir est sur son jeu d'entraînement. L'erreur qui compte est sur tout ce qu'il n'a pas encore rencontré — et ça, on ne peut jamais le mesurer directement. L'espace entre les deux, c'est l'écart de généralisation. Comme une équipe qui ne s'entraîne que contre elle-même : elle maîtrise ses propres habitudes, mais le score qui compte se joue face à des adversaires jamais affrontés.

Il y a deux façons de se tromper — et guérir l'une nourrit l'autre.

\mathbb{E}\big[(y-\hat{f}(x))^2\big] = \underbrace{\big(\text{Bias}[\hat{f}(x)]\big)^2}_{\text{too simple}} + \underbrace{\text{Var}[\hat{f}(x)]}_{\text{too eager}} + \underbrace{\sigma^2}_{\text{irreducible}}

Trop simple, et le modèle rate la vraie forme : c'est le biais. Trop empressé, et il épouse chaque tremblement aléatoire : c'est la variance. L'erreur totale est leur somme, plus un bruit qu'on ne bat jamais. Comme le maillage d'un filet de pêche : trop lâche et la prise file ; trop serré et tu remontes vase et algues avec les poissons. L'art est dans la maille intermédiaire.

Tes exemples portent la vérité — emballée dans le hasard.

Tout jeu de données, c'est le vrai motif plus un brouillard de hasard : un cas mal étiqueté, un coup de chance, la chance des exemples que tu as réunis. Donne assez de marge à un modèle et il mémorise aussi les accidents — et les prend pour la règle. Comme apprendre une chanson sur un seul enregistrement pirate live : rembobine-le assez et tu 'apprends' la toux dans la foule et le souffle de la bande comme si c'étaient des notes.

Passé le point idéal, plus de puissance se retourne contre toi.

R(f) - \hat{R}(f) \;\lesssim\; \sqrt{\dfrac{C}{n}}

Ajoute de la capacité et l'erreur d'entraînement continue de chuter — mais l'erreur sur de nouvelles données baisse, atteint un creux, puis remonte. Plus de marge pour s'ajuster, c'est plus de marge pour mémoriser. La borne classique le dit clairement : l'écart croît avec la complexité et diminue avec les données. Comme poncer une table : quelques passes révèlent le grain ; insiste au même endroit et tu creuses un trou qui la gâche.

Le seul juge honnête est une question jamais vue.

\hat{R}_{\text{test}}(f) = \frac{1}{m}\sum_{j=1}^{m}\ell\!\big(f(x_j),y_j\big), \qquad \mathbb{E}\big[\hat{R}_{\text{test}}(f)\big] = R(f)

Tu ne peux pas te fier à sa note sur ce qu'il a révisé — il a peut-être simplement mémorisé. Alors mets de côté une part de données réelles, ne le laisse jamais s'entraîner dessus, et note seulement là. Cette note réservée est ton seul aperçu sans biais de l'erreur vraie. Comme un examen scellé : réserve de vraies questions qu'il ne révise jamais, et ne brise le sceau que pour noter. Triche une seule fois et le juge cesse d'être honnête.

Coller au passé n'a jamais été le but. Affronter l'avenir, si.

Un modèle qui mémorise parfaitement ses données d'entraînement a bâti une table de correspondance, pas une compréhension du monde. Le prix n'a jamais été une faible erreur d'entraînement, mais une faible erreur sur tout ce qu'il rencontrera un jour. Comprendre, ce n'est que généraliser sous un autre nom. Comme enfin lire la carte : mémorise un trajet et tu possèdes une seule route ; comprends le terrain et tu sauras t'orienter partout.

🌱 Nous avons tracé la ligne. Les plus grands modèles la franchissent.

La vieille courbe prévenait qu'au-delà d'un point, plus de complexité ne fait que nuire. Pourtant les plus grands modèles franchissent ce point — collent à chaque exemple au détail près, tremblements compris — puis s'améliorent sur ce qu'ils n'ont jamais vu. Peut-être que mémoriser et comprendre n'ont jamais été les deux bouts d'une même ligne. Où, alors, la ligne tombe-t-elle vraiment ?