Comment un modèle complète un motif vu une seule fois. · Source

Il voit un motif une fois, puis le complète pour vous.

Montrez-lui « A puis B » une seule fois. Quelques mots plus loin, il voit « A puis ___ » et tombe sur B — un motif appris il y a quelques secondes, dans ce texte même. Comme une tricoteuse : un coup d'œil aux rangs déjà sur l'aiguille et la maille suivante s'impose presque d'elle-même. Aucun nouvel entraînement, aucun fait stocké : seulement la suite sous ses yeux, continuée. Voilà le petit moteur de l'apprentissage à la volée.

Premier tour : marquer chaque place avec celle juste avant.

A^{\text{prev}}_{ij}\approx \mathbb{1}[\,j=i-1\,],\qquad h^{\text{prev}}_{i}\approx W_{OV}\,x_{i-1}

Pour copier ce qui venait après A, le modèle a d'abord besoin que chaque position connaisse ce qui venait juste avant elle. Une tête précoce fait donc un travail modeste : regarder exactement un pas en arrière et porter ce voisin vers l'avant. Comme un géomètre : chaque nouveau piquet se fixe en visant le précédent, si bien que chaque point note en silence celui qui le précède. En clair : elle ne regarde que la case juste derrière et appose ce token sur celui du moment.

Ensuite : trouver où ce token est déjà apparu.

A^{\text{ind}}_{ij}=\operatorname{softmax}_{j}\!\left(\frac{q_i^{\top}k_j}{\sqrt{d}}\right)\ \text{peaks where}\ t_{j-1}=t_i

Une deuxième tête part alors en chasse. Sa question, au mot où elle se trouve : « où ai-je été précédée par ce même token ? » Grâce à ces marques, elle se verrouille sur le seul endroit dont le prédécesseur correspond — la place juste après la dernière apparition de ce token. Comme un limier : ne porter qu'une odeur, ignorer tout le champ, et s'arrêter net au seul endroit qui concorde. En clair : elle vise le token qui suivait une occurrence précédente du token actuel.

Cible verrouillée — copier ce token vers la sortie.

\hat{t}_{i+1}=t_{j^{\star}},\qquad j^{\star}=\arg\max_{j} A^{\text{ind}}_{ij},\qquad \operatorname{diag}\!\big(W_{U}W_{OV}W_{E}\big)\gg 0

L'endroit trouvé ? La tête fait l'évidence : elle copie ce token même directement dans sa prédiction. Ce qu'elle regarde, elle le vote — d'où sort B, le mot qui suivait A la fois d'avant. Comme un pantographe : un bras suit la forme maîtresse, un second taille une copie exacte, fidèle trait pour trait. En clair : le circuit de copie relève le logit du token exact qu'elle a regardé.

Il n'a mémorisé aucun mot — juste la règle « répète-le ».

Voici la merveille discrète : le circuit ne stocke ni A ni B. Il copie une relation — « ce qui suivait la dernière fois, redis-le » — il se déclenche donc sur des symboles jamais rencontrés, une paire absurde inventée à l'instant, même sur une correspondance approchée plutôt qu'exacte. Comme un gaufrier : versez n'importe quelle pâte jamais goûtée et le même motif en ressort. Les tokens sont interchangeables ; seule la règle est fixe.

Il n'émerge pas en fondu. D'un coup, il est là.

Observez-le se former à l'entraînement et vous ne verrez pas de montée lente. Pendant un long moment — rien. Puis, dans une fenêtre étroite, les deux têtes s'emboîtent et le don du modèle pour apprendre depuis le prompt bondit avec elles. Comme un vieux moteur : on manivelle encore et encore, silence total, puis il prend d'un coup et tourne. La réserve honnête : ce saut soudain représente l'essentiel de cette aptitude, pas, prouvé, sa totalité.

Ce petit duo porte tout l'apprentissage à la volée.

Prenez du recul et l'échelle saisit : une part énorme de « il a saisi la tâche avec quelques exemples » repose sur ce seul circuit copier-la-suite. Le modèle ne puise pas dans un savoir stocké — il exécute un petit tour de correspondance sur le texte sous ses yeux. Comme une clé de voûte : un modeste coin de pierre, et tout l'arc tient grâce à lui. Retirez-le, et la travée s'effondre.

🌱 Rencontrer une idée neuve, est-ce juste trouver où elle a déjà eu lieu ?

Une grande part de comprendre une instruction nouvelle se révèle être ceci : trouver la dernière fois où cela s'est produit, et faire écho à ce qui a suivi. Comme une girouette : elle se range, de nouveau, sur le cap que le vent a déjà fixé. Si lire du neuf, c'est surtout retracer un précédent qu'on vient de voir — est-ce comprendre, ou une mémoire très rapide d'il y a un instant ?