Comment un modèle s'améliore tout court : un petit pas vers le bas. · Source

Un modèle ne s'écrit pas. On le pousse vers le bas, pas à pas.

Personne ne code à la main les milliards de réglages d'un modèle. Il les trouve : il mesure à quel point il se trompe, puis pousse chaque bouton d'un cheveu vers moins d'erreur. Répétez un million de fois et un réseau vierge devient un esprit. La méthode porte un nom tout simple : la descente de gradient — descendre la pente de ses propres erreurs.

Un seul nombre dit l'erreur. Et un milliard de boutons à régler.

L'entraînement écrase chaque erreur en un seul score : la perte. Plus elle est basse, mieux c'est, et elle dépend de tous les boutons à la fois. Comme un mur de vannes identiques à perte de vue : les tourner une à une, à essayer des combinaisons, durerait plus longtemps que l'univers. Impossible de fouiller tout ça. Il faut une direction : dans quel sens tourner chaque bouton, maintenant.

De quel côté ça descend ? Demandez à la pente.

\nabla L(\theta) = \left( \dfrac{\partial L}{\partial \theta_1},\ \dots,\ \dfrac{\partial L}{\partial \theta_n} \right)

Pour un bouton, sa pente indique de quel côté la perte monte, et à quel point. Réunissez la pente de chaque bouton en une seule flèche et vous obtenez le gradient : la montée la plus raide. Comme lire une pente sous ses chaussures dans le brouillard : aveugle à toute la montagne, vos pieds sentent pourtant exactement de quel côté le sol penche. En clair : le gradient, c'est la pente de tous les boutons d'un coup, ramassée en une flèche qui pointe vers la montée la plus rapide.

Vous voulez descendre ? Avancez à contre-flèche.

\theta_{t+1} = \theta_t - \eta\, \nabla L(\theta_t)

Le gradient pointe vers le haut — le dernier endroit où l'on veut être. Alors inversez-le : prenez les boutons que vous avez et faites un petit pas dans le sens opposé. Puis encore. Et encore. Comme accorder une guitare : trop aigu, on desserre d'un cheveu ; trop grave, on serre d'un cheveu — jamais d'à-coups, toujours vers la note juste. En clair : nouveaux boutons = anciens boutons moins un petit pas (le η) vers le bas. Cette seule ligne, répétée un million de fois, c'est l'apprentissage.

La taille du pas fait tout. Trop grand ou trop petit, les deux échouent.

L(\theta - \eta \nabla L) \approx L(\theta) - \eta\, \lVert \nabla L \rVert^{2}

Cette taille de pas — η, le taux d'apprentissage — est le réglage le plus important de l'entraînement. En clair : un petit pas vers le bas réduit la perte d'environ (taille du pas) × (raideur)², un progrès honnête et prévisible — mais seulement tant que le pas reste assez petit pour que cette estimation en ligne droite tienne. Comme un putt : frappez trop fort et vous filez bien au-delà du trou ; touchez trop doux et vous restez court. La bonne allure le fait tomber dedans.

Impossible de peser chaque exemple à chaque pas. Prenez-en une poignée.

\nabla L(\theta) \approx \dfrac{1}{|B|} \sum_{i \in B} \nabla L_i(\theta)

La vraie pente exige de parcourir chaque exemple d'entraînement — bien trop lent à chaque pas. Alors prenez un petit lot au hasard et faites la moyenne de leurs seules pentes. Comme juger un sac de café à une poignée : on ne vide pas tout le sac — une poignée honnête estime le reste. En clair : une estimation de la pente, bon marché et tremblotante — et ce tremblement aide même à vous sortir des ornières peu profondes. C'est la descente de gradient stochastique.

Voilà tout le moteur. C'est fini quand le sol devient plat.

\nabla L(\theta^{*}) = 0

Ôtez les noms et apprendre tient en quatre gestes en boucle : mesurer l'erreur, lire la pente, faire un pas à contresens, recommencer. Des milliards de boutons, une seule règle. En clair : on est arrivé quand le gradient atteint zéro — plus de pente, le sol est plat, nulle part où descendre. Ce replat, c'est le fond vers lequel toute la marche s'inclinait. Un réseau vierge est devenu un esprit, et c'est cette descente — patiente, aveugle, implacable — qui, seule, l'y a mené.

🌱 Mais quel fond ? Tout dépend d'où l'on est parti.

🌱 Un paysage aussi vaste compte bien des vallées, pas une seule. Un sol plat ne signifie qu'un fond, pas le fond — partez d'ailleurs, posez le pied un peu autrement, et vous venez vous immobiliser dans un tout autre bassin. Le modèle obtenu n'est donc pas le seul qui convenait ; c'est celui où votre chemin s'est trouvé se poser. Y a-t-il seulement une unique vraie réponse là-dessous — ou rien que le creux où vous avez roulé, et la route qui vous y a mené ?