Comment un modèle apprend où se tient chaque mot. · Source

Mêmes mots, autre ordre, sens inverse — et l'attention n'y voit rien.

La dernière fois, l'attention lisait un sac de mots — mélange-les et le calcul rend la même réponse. Mais « le chien mord l'homme » et « l'homme mord le chien » ne racontent pas la même histoire. L'ordre est le sens. Alors avant que le modèle ne regarde quoi que ce soit, on fait une chose discrète : donner à chaque mot le sens de l'endroit où il se tient.

Pourquoi ne pas les numéroter 1, 2, 3… ? Parce que le compte s'emballe.

Étiquette chaque mot avec sa position brute — 1, 2, 3, … — et le nombre ne cesse de grimper. Au mot 5 000, cette étiquette écrase le sens réel du mot et le noie. Pire : une position sur laquelle le modèle ne s'est jamais entraîné est une parfaite inconnue. Comme un pointage qui ne se remet jamais à zéro : les marques s'accumulent jusqu'à être tout ce qu'on voit. Il nous faut un sens du lieu qui reste petit et reste familier.

La solution : une onde qui oscille sans fin mais ne s'emballe jamais.

\begin{aligned} \mathrm{PE}_{(pos,\,2i)} &= \sin\!\left(\dfrac{pos}{10000^{\,2i/d}}\right) \\[2pt] \mathrm{PE}_{(pos,\,2i+1)} &= \cos\!\left(\dfrac{pos}{10000^{\,2i/d}}\right) \end{aligned}

Remplace le compte qui s'emballe par une onde. Un sinus monte et descend entre −1 et +1 pour toujours, mais toujours dans cette bande nette — lis sa hauteur et tu sais où tu en es, sans qu'aucun nombre n'explose. Ci-dessous, pos est la position du mot et i choisit l'onde ; chaque position devient un empilement de mesures de sinus et de cosinus. Comme un pendule : il oscille encore et encore, sans jamais quitter son arc — la phase du balancement te dit l'instant.

Une onde est ambiguë. Tout un empilement, c'est une empreinte.

Une seule onde lente ne distingue pas la position 3 de la position 300 — les deux sont presque à la même hauteur. Alors on utilise plusieurs ondes à la fois : des rapides, des lentes. Les rapides fixent la position fine, les lentes la vue d'ensemble ; ensemble, elles épellent un code qu'aucune autre position ne partage. Comme des engrenages imbriqués : un tout petit tourne vite, un énorme avance à peine — lis-les tous et tu sais exactement de combien la machine a tourné.

La position n'est pas collée à côté — elle est mélangée dedans.

\mathbf{x}_{pos} = E_{w_{pos}} + \mathrm{PE}_{pos}

On s'attendrait à ce que le code de position voyage à côté du mot. Non — il est ajouté directement au vecteur de sens : même longueur, mêmes cases, additionnés. Ça paraît imprudent, mais le modèle a de la marge pour garder les deux lisibles séparément. Comme du sel fondu dans la soupe : tu ne le sers pas dans une coupelle à part — tu l'incorpores, et le palais distingue encore le bouillon de l'assaisonnement.

La récompense discrète : un pas en avant, c'est toujours le même tour.

\mathrm{PE}_{pos+k} = R_k\,\mathrm{PE}_{pos}

Voici le cadeau caché dans les sinus. Avance de k mots et chaque vecteur de position pivote de la même rotation fixe — elle ne dépend que de k, jamais de ton point de départ. Le modèle peut donc sentir « ces deux-là sont à 5 d'écart » directement, pas seulement où chacun se trouve. Comme un escalier en colimaçon : monter d'un étage, c'est le même quart de tour, quel que soit l'étage.

C'est l'encodage positionnel : une adresse lisse pliée dans le sens.

Assemble le tout. L'attention voit un sac sans ordre ; on donne à chaque mot une adresse bornée, lisse et multi-échelle faite d'ondes, on l'ajoute dans le mot, et on obtient la distance relative gratuitement. Certains modèles sautent la formule et apprennent simplement un vecteur de position pour chaque case — même travail, enseigné par les données plutôt que par les maths. Dans les deux cas, l'ordre cesse d'être perdu et commence à se sentir.

🌱 Une place agrafée à un mot, est-ce la même chose qu'habiter le temps ?

On a donné une adresse au modèle — mais ça reste une étiquette ajoutée par-dessus le sens, relue à chaque regard. Tu ne portes pas de coordonnée ; tu sens l'ordre comme un rythme, comme une cause, comme un instant qui tire vers le suivant. Alors l'ordre ne devrait peut-être pas être une étiquette qu'on attache. Et si l'endroit où se tient un mot vivait au cœur même de l'acte d'un mot se tournant pour en regarder un autre — non pas agrafé avant, mais senti dans le regard lui-même ?