Pourquoi le pas doit monter en régime avant de redescendre. · Source

Le pas n'est pas un seul chiffre. C'est tout un parcours.

Un modèle apprend en descendant la pente, pas à pas — mais quelle taille de pas ? Choisis un chiffre et fige-le, et tu laisses de la précision sur la table. Le meilleur entraînement fait varier le taux dans le temps : timide au départ, audacieux au milieu, doux à la fin. Cette courbe — le programme — fait autant la recette que le modèle lui-même.

Au premier pas, le modèle est fragile. Ne saute pas.

Tout juste sorti de nombres aléatoires, le modèle sait à peine où est le bas — les toutes premières pentes qu'il lit sont folles et peu fiables. Fais un grand pas maintenant et il peut se projeter quelque part dont il ne se relèvera jamais. Comme ménager un moteur froid : pousse à fond un moteur gelé par un matin de givre et il cale ou force — on le laisse chauffer avant de lui demander de la puissance. Alors le taux avance à pas feutrés au début.

Échauffement : monter le taux en ligne droite.

\eta_t = \eta_{\max}\,\dfrac{t}{t_{\text{warmup}}}, \qquad t \le t_{\text{warmup}}

Pendant les premiers milliers de pas, élève le taux régulièrement de presque zéro jusqu'à son sommet — une rampe nette, pas un saut. Comme un cheval qui s'élance au galop : il n'explose pas depuis l'arrêt, il gagne foulée après foulée jusqu'à la pleine vitesse, puis s'envole. En clair : plus l'échauffement est long, plus la montée vers le plein régime est douce.

Près du fond, les grands pas dépassent la cible.

Une fois le modèle proche du fond de la vallée, un grand pas bondit au-delà du point le plus bas et rebondit dans la cuvette sans jamais se poser. Le remède : réduire les pas à mesure qu'on approche de la cible. Comme un colibri se posant sur une fleur : des élans francs pour s'approcher, puis les infimes ajustements en vol stationnaire pour se poser pile — s'il dépasse, il manque la fleur.

Décroissance cosinus : redescendre, douce aux deux bouts.

\eta_t = \eta_{\min} + \tfrac{1}{2}\,(\eta_{\max}-\eta_{\min})\left(1 + \cos\!\frac{\pi\, t}{T}\right)

Après l'échauffement, fais glisser le taux de son sommet vers zéro le long d'un demi-cosinus : lent en haut, plus rapide au milieu, ralentissant de nouveau à l'atterrissage. Comme le profil d'une piste de ski : une crête douce, un milieu raide, puis une longue sortie douce. En clair : il passe plus de temps au taux élevé et plus de temps à se poser, ne se pressant qu'entre les deux.

La première recette a fondu les deux en une seule ligne.

\eta = d_{\text{model}}^{-1/2}\cdot \min\!\left(t^{-1/2},\; t\,\cdot\, t_{\text{warmup}}^{-3/2}\right)

Le tout premier programme d'un transformer a fondu échauffement et décroissance en une seule règle : monter droit vers un sommet à la fin de l'échauffement, puis retomber comme un sur la racine carrée du pas. Comme une toupie : lancée à pleine vitesse, puis un long ralentissement de plus en plus lent. La part honnête — la forme exacte importe moins que le fait d'avoir les deux phases ; l'échauffement donne surtout à un optimiseur adaptatif le temps de se fier à son propre sens de l'échelle avant de frapper fort.

Une courbe : trouver son assise, couvrir du terrain, puis se poser.

Mets tout bout à bout et l'entraînement entier suit un seul arc : un départ timide pour trouver son assise sur un terrain sauvage, un milieu audacieux pour gagner du terrain, une fin douce pour se poser au point le plus bas. Comme cuire dans un four de potier : monte la chaleur lentement, maintiens-la, puis refroidis lentement — brusque une étape et la pièce se fend. Le programme n'est pas un détail rapporté ; c'est la moitié de ce que veut dire entraîner.

🌱 Existe-t-il un bon rythme — ou seulement un bon rythme pour l'instant ?

Le taux parfait au premier pas détruirait le modèle à la fin ; celui qui le pose en douceur ne l'aurait jamais ébranlé au départ. Le pas juste ne cesse de changer à mesure que le modèle apprend. Alors peut-être n'y a-t-il jamais eu un seul bon rythme — seulement celui qui convenait à l'endroit où il se tenait. Et si c'est vrai d'une machine qui apprend, sommes-nous si sûrs que ce ne l'est pas de nous ?