Comment un modèle apprend une nouvelle tâche à partir du prompt — sans rien changer. · Source

Il apprend une nouvelle tâche à partir du prompt — sans bouger un seul poids.

Donnez-lui une tâche pour laquelle il n'a jamais été entraîné — quelques exemples, une nouvelle question — et il la fait, tout simplement. Pas de fine-tuning. Pas de pas de gradient. Rien en lui n'est réécrit. C'est l'apprentissage en contexte : le modèle saisit la tâche à partir du seul prompt, en une seule passe avant, puis la relâche. Enseigner, sans rien à installer.

D'habitude, apprendre c'est changer. Ici, rien ne change.

\Delta\theta = 0

L'entraînement réécrit un modèle — la descente de gradient ajuste un milliard de poids jusqu'à l'améliorer. L'apprentissage en contexte ne fait rien de tout cela : les poids sont figés, Δθ = 0. D'où vient alors la nouvelle compétence ? Comme un kaléidoscope : les miroirs et les perles ne changent jamais — un tour, et un motif entièrement nouveau apparaît, fait uniquement de ce qui était déjà à l'intérieur.

Vous ne lui dites pas la règle. Vous lui montrez quelques exemples.

\hat{y} = \arg\max_{y}\ p_\theta\!\left(y \mid (x_1,y_1),\dots,(x_k,y_k),\,x_q\right),\quad \theta\ \text{fixed}

Posez une poignée de paires — entrée, puis réponse — puis une nouvelle entrée, le tout en un seul long prompt. Le modèle se contente de poursuivre le motif. Vous n'avez jamais énoncé la règle ; les exemples sont la consigne. Comme un imitateur : donnez-lui quelques répliques dans la voix de quelqu'un et il la prolonge à la perfection — personne n'a écrit comment cette voix fonctionne. Le même moteur du mot suivant, fraîchement orienté.

Il n'apprend pas la tâche. Il en retrouve une qu'il possède déjà.

p(y \mid x, D) = \int p(y \mid x, T)\, p(T \mid D)\, dT

Le pré-entraînement lui a déjà fait croiser mille tâches comme la vôtre. Les exemples n'enseignent pas une nouvelle compétence — ils lui disent laquelle exécuter. Formellement, sa réponse fait la moyenne sur toutes les tâches qu'il pourrait accomplir, pondérées par leur adéquation à vos démonstrations. Comme le trousseau d'un concierge : vous portez déjà toutes les clés — les exemples disent seulement laquelle ouvre cette porte.

Chaque exemple élimine des tâches. Les premiers pèsent le plus.

p(T \mid D_{k+1}) \propto p(T \mid D_k)\, p(x_{k+1},y_{k+1} \mid T)

Chaque nouvelle démonstration repondère le champ : les tâches qui l'ont bien prédite montent, les autres s'estompent. Ainsi, plus d'exemples affinent la conjecture — mais à rendements décroissants. Une poignée fait d'ordinaire l'essentiel du travail, et en empiler davantage ne bouge presque rien (et peut même le troubler). Comme la mise au point de jumelles : les premiers tours rendent la scène nette ; ensuite, on ne tourne presque plus.

Le plus fou : la passe avant ferait peut-être l'apprentissage.

\hat{w} = w_0 - \eta\,\nabla_{w}\textstyle\sum_{i}\left(w^\top x_i - y_i\right)^2,\qquad \hat{y}_q = \hat{w}^\top x_q

Réduisez-le à un jouet — une tâche linéaire simple, une attention simplifiée — et vous pouvez lire un véritable pas d'apprentissage dans les maths : une seule passe ajuste un modèle jetable à vos exemples, puis prédit. Comme un compteur de cartes : à partir des quelques cartes déjà montrées, il ajuste les probabilités dans sa tête en silence — tout un calcul caché dans un seul coup d'œil. Démontré pour le cas jouet ; une hypothèse de premier plan pour le cas réel.

Le prompt est un programme. La machine ne change jamais.

Pas de réentraînement, pas de nouvelle copie, aucun poids touché — vous le reprogrammez avec ce que vous placez devant lui, et le prompt suivant le reprogramme encore. Toute la compétence vit dans l'entrée. Comme un caméléon : l'animal lui-même ne change jamais — posez-le sur un nouveau fond et il devient cette couleur, à l'instant, puis la suivante.

🌱 Il a appris un instant. Puis la fenêtre s'est refermée.

Ce qu'il a saisi n'a vécu que dans ce contexte. Fermez la fenêtre et c'est parti — le modèle est exactement tel qu'il était, ne retenant rien. Était-ce donc apprendre, ou seulement se souvenir le temps de répondre ? Et si une compétence peut apparaître avec le prompt et s'évanouir avec lui, où était la compétence pendant tout son sommeil ?