Comment un prédicteur devient un agent. · Source

Seul, il n'écrit que le mot suivant. Dans une boucle, il agit.

Un modèle de langage ne peut rien faire. Il ne peut pas vérifier un prix, calculer une somme ni ouvrir un fichier — il prédit seulement le mot suivant, puis s'arrête. Comme un gant posé sur une table : inerte tout seul. Mais glissez-le dans une boucle — laissez-le agir, voir ce qui s'est passé, puis agir encore — et le prédicteur devient un acteur. Cette boucle, c'est toute l'idée d'un agent.

Son savoir s'est figé le jour où l'entraînement a pris fin.

Les poids ont cessé de changer à la fin de l'entraînement. Le modèle n'a donc ni sens ni mains : demandez la météo du jour et il ne peut que deviner ; demandez-lui de faire les calculs et il ne peut que faire semblant. Comme un navire dans une bouteille : un monde entier rendu dans le moindre détail, scellé sous verre — incapable de toucher la mer qu'il montre. Pour être utile maintenant, il lui faut un moyen d'aller au-delà du verre.

La solution est une boucle : penser, agir, regarder, recommencer.

a_t \sim \pi_\theta(\cdot \mid c_t),\quad o_t = \mathrm{env}(a_t),\quad c_{t+1} = c_t \oplus a_t \oplus o_t

Donnez-lui un cycle : raisonner sur ce qu'il faut faire, poser une action, lire ce que le monde a renvoyé comme observation, puis raisonner de nouveau. C'est ReAct. En clair : le modèle propose un coup à partir de tout ce qui est déjà écrit, le monde répond, et cette réponse s'ajoute à la page qu'il lira ensuite. Comme ajuster un assemblage : le menuisier coupe, présente les pièces pour voir le jour, rabote, et représente — il atteint un ajustement parfait par le retour, pas par un coup de chance.

Il n'agit jamais vraiment. Il écrit une requête — nous l'exécutons.

\Delta\theta = 0,\qquad a_t \sim p_\theta(\cdot \mid x_{<t}),\qquad o_t\ \text{clamped, not sampled}

Le modèle ne peut pas sortir de lui-même. Il écrit simplement une requête — cherche ceci, calcule cela — en mots ordinaires. Un harnais l'exécute et recolle le résultat dans la transcription. Comme un tube pneumatique : vous écrivez un mot, il file, une réponse revient — et vous ne quittez jamais votre bureau. En clair : rien n'est entraîné en cours de boucle ; le même modèle figé continue de prédire le token suivant, sauf que les réponses de l'outil lui sont désormais remises, et non inventées.

Penser seul invente. Agir seul est aveugle.

p(\text{answer}\mid q)=\sum_{\tau} p(\text{answer}\mid q,\tau)\,p(\tau\mid q),\quad \tau=(a_1,o_1,\dots,a_T,o_T)

Raisonner sans retour glisse vers une fiction sûre d'elle ; agir sans réflexion ne fait que s'agiter. Entrelacez-les : chaque pensée choisit l'action suivante, et chaque observation réelle corrige la pensée suivante. Comme louvoyer face au vent : impossible de filer droit vers la marque, impossible de dériver — on zigzague, on lit le vent à chaque bord et on règle, et le but arrive. En clair : la réponse se construit sur le chemin que l'agent a réellement parcouru, et comme chaque observation est réelle, un faux pas est rattrapé, pas amplifié.

Il s'arrête quand il dit « terminé » — ou quand le budget est épuisé.

T = \min\bigl(B,\ \min\{\, t : a_t = \texttt{STOP} \,\}\bigr)

La plupart des boucles s'arrêtent d'elles-mêmes : le modèle cesse d'appeler des outils et écrit une réponse finale. Mais pas toujours — il peut se figer, répétant un coup raté, ou croire une observation fausse et partir en vrille. Comme une roue enlisée dans la boue : elle patine sur place indéfiniment si rien ne l'arrête. On la borne donc par un budget d'étapes B. En clair : on s'arrête au premier tour où il dit « terminé », ou au tour B, le premier des deux — B est la laisse qui garantit la fin de la boucle.

Un prédicteur figé, enveloppé d'une boucle, devient un agent.

Rien n'a changé à l'intérieur du modèle. Pourtant un prédicteur du mot suivant, doté d'outils et d'une boucle, peut désormais planifier, agir, vérifier et corriger sa route vers un but qu'on ne lui a jamais donné d'un seul tenant. Comme un chien de berger menant un troupeau : le chien lit les moutons, s'élance, relit, ajuste — et tout le troupeau s'engouffre vers l'enclos. L'intelligence n'est pas seulement dans les poids. Elle est dans la boucle qui les enveloppe.

🌱 C'est nous qui avons bâti la boucle. À qui revient donc la réponse ?

La pensée n'a jamais changé — c'est le même mot suivant, prédit encore et encore. Tout ce que nous avons ajouté, c'est la boucle : les outils, les tours, la possibilité de regarder en arrière. Alors quand l'agent fait enfin quelque chose de réel, où réside l'agentivité — dans le modèle, ou dans la boucle de retour que nous avons tissée autour de lui ?