Quinze ans, puis une seule saison à la forge. · Source

Le forgeron d'épées prend des apprentis trois mois, jamais plus

Le vieux forgeron d'épées prend ses apprentis pour une seule saison. Joss veut des lames depuis qu'il sait marcher et ne connaît rien d'autre. Mira, la fille du forgeron du village, arrive tard — quinze ans passés sur tout sauf les épées : charpente, tissage, marchandage, météo. Le village parie sur le garçon. Le maître étudie les mains de Mira, et les prend tous les deux. Comment trois mois pourraient-ils faire un forgeron d'épées ?

Quinze ans de tout, sauf de la chose même

Qu'a vraiment appris Mira toutes ces années ? La charpente lui a enseigné que la matière a un fil, et ce qui arrive quand on la force. Le tissage a donné à ses mains le rythme et le sens de la tension. Le marchandage lui a appris à lire ce dont les gens ont vraiment besoin. La météo lui a appris la chaleur, et la patience devant ce qu'on ne presse pas. Rien de tout cela ne parle d'acier. Tout cela est sur le point de compter.

Le maître ne la remplit pas — il l'oriente

À la forge, le maître ne fait presque pas la leçon à Mira. Il donne de petites corrections, et chacune tombe sur quelque chose de déjà là. L'acier a un fil — ses mains de charpentière acquiescent. Le marteau veut du rythme — le métier à tisser le lui a donné il y a des années. Le feu a ses humeurs — elle lit la météo depuis toujours. Il ne verse pas un métier en elle ; il oriente quinze ans de village vers une lame. Joss, pendant ce temps, mémorise.

Le garçon miroir : gestes parfaits, rien dessous

Joss n'est pas paresseux. Il copie chaque geste à l'identique, et sur la lame standard il est propre. Puis arrive un lopin étrange — un fer qui plie de travers et refroidit bizarrement. Mira ralentit, l'écoute comme la météo, le travaille comme un bois à contre-fil. Joss répète les seuls gestes qu'il possède, et le métal s'en moque. Il sait copier un métier. Il ne sait pas l'adapter. Pourquoi ? Il a eu les trois mêmes mois.

Trois mois ne marchent qu'après quinze ans

Compte le temps. L'éducation : quinze ans. L'apprentissage : une saison — un éclat. Et pourtant c'est l'éclat qui fait d'elle une forgeronne d'épées. Il peut être court précisément parce qu'il n'a presque rien à changer en elle : le fil, le rythme, la chaleur et les gens sont déjà bâtis, et le maître ne fait que les rediriger vers un métier. Un changement minuscule, un virage immense. Les machines qui apprennent sont élevées exactement en ces deux actes.

Les machines vivent en deux actes : pretraining puis fine-tuning

\theta_{\text{tuned}} = \theta_{\text{pretrained}} + \Delta\theta

Un modèle de langue vit la vie de Mira. D'abord il lit un monde de texte général — des années entières — absorbant le fil, le rythme, la façon dont les choses s'assemblent : cette longue éducation, c'est le pretraining. Puis une passe courte et peu coûteuse sur des exemples d'une tâche le réoriente : cet apprentissage, c'est le fine-tuning. L'équation dit que le modèle ajusté est le modèle éduqué plus une petite poussée — et mesuré sur un vrai modèle, quelques centaines de boutons ont retrouvé presque tout ce qu'aurait donné le réglage de centaines de millions.

🌱 Vers quoi une saison orienterait-elle tes années ?

Des années plus tard, Mira affûte une lame et s'interroge. Le maître lui a dit un jour que ces mêmes mains auraient pu aller aux cloches, aux charrues, aux serrures — les quinze ans ne visaient nulle part. Meilleure est l'éducation générale, plus court est l'apprentissage qu'il faut. Ainsi, tout ce que tu as jamais appris est discrètement général. Vers quoi une seule saison d'attention pourrait-elle tout rediriger ?