Comment la compréhension arrive bien après que tout est mémorisé. · Source

Parfait à l'examen qu'il a révisé. Puis, bien plus tard, le déclic.

Un modèle peut maîtriser son jeu d'entraînement en un éclair et rater pourtant tout ce qui est nouveau — puis, après une petite éternité d'entraînement où il semble que rien ne se passe, il généralise soudain. Comme un bocal de sirop au repos : limpide et tranquille pendant des siècles, puis d'un souffle il se fige en cristaux. Mémoriser fut rapide. La compréhension, elle, est venue bien, bien plus tard.

D'abord il mémorise — parfait sur ce qu'il a vu, perdu sur le reste.

Au début, il bachote : la précision sur l'entraînement grimpe à 100%, tandis que sur des questions inédites elle reste au pur hasard. Il a collé à chaque exemple un par un sans trouver la règle dessous. Comme un moule en plâtre tiré d'un seul objet : il reproduit cette forme à la perfection et ne va avec aucune autre. Une note parfaite qui n'a rien compris.

Le saut vient bien plus tard — et le progrès était caché tout du long.

Vient ensuite une longue vallée plate — des milliers de pas où le score de test bouge à peine. On le croit bloqué. Mais dessous, un véritable circuit s'assemble en silence ; la courbe plate le cache. Comme le bambou : des années sans rien au-dessus du sol pendant que les racines s'étendent — puis, presque du jour au lendemain, il fuse vers le ciel. Le travail se faisait depuis toujours hors de vue.

Pourquoi continuer à changer une fois les erreurs à zéro ? Une seconde pression discrète.

\min_{\theta}\; L(\theta) + \frac{\lambda}{2}\,\lVert\theta\rVert^2

Une fois qu'il ne peut plus baisser ses erreurs, une force pousse encore : un petit loyer sur la taille. L'objectif minimise l'erreur et le volume total des poids — si bien qu'à erreur nulle il continue de rétrécir, λ fixant ce loyer. Comme un fleuve lent longtemps après avoir atteint la mer : un courant ténu et incessant qui continue de redresser ses propres méandres.

Deux façons de réussir. La plus sobre l'emporte en silence.

\theta^\star = \arg\min_{\theta:\,L(\theta)\approx 0}\ \lVert\theta\rVert

Deux machines internes différentes peuvent toutes deux faire un sans-faute : un mémorisateur encombrant et une règle sobre. Même score — mais la règle y parvient avec des poids bien plus petits. Le loyer choisit donc la petite : de tous les réglages qui réussissent les données, il dérive vers le plus petit. Comme deux cordes sur un piquet : un enchevêtrement gaspilleur et un seul nœud net tiennent autant, mais seul le nœud épargne la corde.

Qu'a-t-il vraiment appris ? À additionner en faisant tourner un cercle.

\cos(\theta_a + \theta_b) = \cos\theta_a\cos\theta_b - \sin\theta_a\sin\theta_b

Regarde dans le circuit sobre et il y a un vrai algorithme. Dans le cas le plus net qu'on sache lire — additionner des nombres sur une horloge — il a appris à transformer chaque nombre en un angle et à additionner les angles, l'enroulement se faisant tout seul. L'identité ci-dessous est l'engrenage qui amène un angle sur le suivant. Comme une plaque tournante de chemin de fer : on y engage la locomotive, on la fait pivoter d'autant, et elle pointe ailleurs — pas de table de correspondance, une règle.

Coller aux données et saisir la règle n'ont jamais été le même instant.

La leçon : mémoriser et comprendre sont deux événements distincts, et le long délai n'est que la lente migration de l'un vers l'autre. Cela se voit le plus nettement sur de petites tâches propres, ce loyer poussé à fond — une preuve claire, pas une promesse que tout modèle comprendra d'un coup. Comme un chai de fûts en vieillissement : ils semblent oisifs toute une saison pendant qu'un mûrissement discret s'achève — puis, enfin, c'est bon.

🌱 Il a bachoté en un clin d'œil et compris en une ère. Quand un esprit a-t-il fini ?

Il a atteint le score parfait presque aussitôt — et ce n'est que bien plus tard qu'a affleuré la compréhension. La règle était-elle donc déjà là à l'instant où il mémorisait, n'attendant qu'à être tirée au jour ? Et si un esprit peut continuer à saisir en silence longtemps après avoir semblé fini, quand déclare-t-on jamais son apprentissage achevé ?