Comment un mot devient un point dans l'espace. · Source

Un modèle ne sait pas lire un mot. Alors il le transforme en lieu.

Pour un modèle, cat n'est pas trois lettres — c'est un point dans l'espace, long de quelques centaines de nombres. Le plus fou : le modèle dispose ces points pour que la proximité signifie la ressemblance. cat tombe à un pâté de maisons de dog et à toute une ville de Tuesday. Le sens devient une carte — et cette carte, c'est un embedding.

Le premier essai maladroit : donner à chaque mot son propre interrupteur.

\text{cat}=[\,0,\dots,1,\dots,0\,]\in\{0,1\}^{V},\qquad \text{cat}\cdot\text{dog}=0

L'encodage évident : une case par mot du vocabulaire, que des zéros sauf un seul 1. Mais alors chaque paire de mots se retrouve aussi loin l'une de l'autre — cat n'est pas plus proche de dog que de Tuesday. Leur recouvrement est exactement nul. Cinquante mille cases pour ne presque rien dire. Comme un mur d'interrupteurs : un seul relevé par mot, chaque mot une île solitaire.

La solution : décrire un mot avec quelques centaines de cadrans.

\text{cat}\mapsto\mathbf{v}=[\,0.21,\,-1.3,\,\dots,\,0.07\,]\in\mathbb{R}^{d},\quad d\ll V

Échange cinquante mille cases presque vides contre quelques centaines de nombres réels — des coordonnées. Maintenant un mot n'est plus une étiquette, c'est un emplacement, et les emplacements peuvent être proches ou lointains. Chaque nombre est une nuance de sens ; ensemble, ils fixent le mot à un endroit. Comme la lumière blanche à travers un prisme : un simple faisceau s'ouvre en tout un spectre, chaque bande une part différente de la même chose.

À quel point deux mots sont-ils proches ? Mesure l'angle entre eux.

\cos\theta=\dfrac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\,\lVert\mathbf{b}\rVert}

Pour comparer deux mots, regarde l'angle entre leurs vecteurs, pas l'écart brut. Similarité cosinus : pointer dans le même sens donne 1 (quasi-synonymes), à angle droit 0 (sans rapport), à l'opposé pile −1. La direction porte le sens ; la longueur, non. Comme deux faisceaux de lampe torche : dirigés presque ensemble, ils se confondent presque ; plus l'angle entre eux est large, moins ils partagent.

D'où viennent les nombres ? De la compagnie que fréquente un mot.

\max\ \sum_{t}\sum_{-m\le j\le m,\ j\ne 0}\ \log p\!\left(w_{t+j}\mid w_t\right)

Personne ne règle les coordonnées à la main. Le modèle lit des océans de texte et pousse le vecteur de chaque mot à prédire les mots qui l'entourent. Les mots qui apparaissent dans la même compagnie se rapprochent — cat et dog deviennent voisins parce qu'ils fréquentent les mêmes amis. Comme un marché rangé par ressemblance : citrons à côté des citrons verts, baies à côté des baies — ce qui partage la même compagnie finit sur la même étagère.

Le rebondissement : on peut faire de l'arithmétique sur le sens.

\mathbf{v}_{\text{king}}-\mathbf{v}_{\text{man}}+\mathbf{v}_{\text{woman}}\approx\mathbf{v}_{\text{queen}}

Comme le sens est désormais de la géométrie, les directions portent des concepts. Le pas de man à woman est le même que de king à queen — alors retire man, ajoute woman, et tu atterris juste à côté de queen. Personne n'a construit d'axe « genre » ; il a simplement émergé. Comme deux traces de ski parallèles : la flèche reliant une paire est parallèle à celle reliant l'autre.

Assemble le tout : toute une géographie du sens, tracée d'elle-même.

Quelques centaines de nombres par mot, rangés par compagnie, comparés par angle — et il en tombe une carte : les quartiers sont des thèmes, les directions des concepts que personne n'a nommés (temps, pluriel, sentiment), et le modèle a tracé chaque ligne lui-même, à partir de texte brut. Ça, c'est un embedding — le sens devenu un lieu que l'on peut mesurer. Comme ouvrir une géode : une pierre terne dehors, un monde structuré de cristal dedans.

🌱 Si le sens vit dans les écarts, qu'est-ce qui remplit les vides ?

Le modèle n'a jamais lu de définition. Il a appris ce que veulent dire les mots uniquement d'après les mots auprès desquels ils se trouvent — le sens vit dans les distances entre les points, jamais à l'intérieur d'aucun. Alors, le sens d'un mot est-il quelque chose qu'il possède, ou seulement un réseau de sa distance à tous les autres ? Et là-bas, dans les étendues vides de cet espace, où aucun mot n'a jamais atterri — des pensées attendent-elles, pour lesquelles nous n'avons tout simplement jamais inventé de mot ?