Comment une seule table lit chaque mot à l'entrée — et l'écrit à la sortie. · Source

Une table lit chaque mot à l'entrée. La même l'écrit à la sortie.

Un modèle conserve une table géante qui transforme chaque mot en vecteur : sa façon de lire. Pour parler, il lui faut l'inverse : un vecteur retransformé en mot. L'astuce discrète, c'est que ce peut être la même table, utilisée dans les deux sens. Weight tying : lire un mot et écrire un mot par une seule carte partagée.

D'ordinaire, il traîne deux tables géantes, pas une.

E \in \mathbb{R}^{V \times d}, \qquad U \in \mathbb{R}^{V \times d}

La lecture utilise une table à une ligne par mot — aussi haute que le vocabulaire entier V, aussi large que le modèle d. L'écriture exige son miroir, une autre table V×d, pour noter chaque mot candidat. Entraînées à part, ce sont deux géants distincts aux tâches symétriques. Comme un porteur portant deux malles identiques : même contenu, poids doublé, deux à porter et à garder.

Mais c'est un seul vocabulaire. Alors n'en faites qu'une table.

\text{in: } x = e_t \qquad \text{out: } z_i = e_i^{\top} h \qquad \text{tie: } U = E

Les deux tâches touchent les mêmes mots : qu'une seule table serve aux deux. Le vecteur e qui lit un mot à l'entrée devient l'étalon auquel on le compare à la sortie : le score d'un mot n'est que son vecteur multiplié à la pensée courante h. Rendez la table d'écriture égale à celle de lecture — c'est là le nouage. Comme un diapason : frappez-le pour faire sonner la note, approchez-le d'une corde pour détecter cette même note.

Une prédiction, c'est juste : quel vecteur s'aligne le mieux ?

z_i = e_i^{\top} h = \lVert e_i \rVert \, \lVert h \rVert \cos\theta_i

Nouez les tables et la prédiction devient géométrique. Le score d'un mot, c'est l'alignement de son vecteur avec la pensée courante — grand quand ils pointent pareil, presque nul sinon. Pour choisir le mot suivant, trouvez le vecteur le mieux aligné. Comme une girouette : elle pivote jusqu'à se placer dans le vent, et la direction qu'elle privilégie l'emporte.

Comptez ce que vous gagnez : la moitié de la table disparaît.

\underbrace{2Vd}_{\text{untied}} \;\longrightarrow\; \underbrace{Vd}_{\text{tied}}

Deux tables de V×d nombres n'en font qu'une. Pour un vocabulaire de 50 000 mots et un modèle large de 768, cela fait environ 38 millions de nombres en moins — près d'un tiers d'un petit modèle. En prime : le sens d'entrée et de sortie d'un mot ne peut plus diverger, puisque ce sont les mêmes nombres. Comme une seule conduite d'eau alimentant une maison au lieu de deux tuyaux parallèles — moitié moins à creuser, une seule pression partagée.

Lire et écrire ne sont pas tout à fait la même tâche.

Le bémol honnête : le meilleur espace pour comprendre un mot et le meilleur pour le prédire sont apparentés, pas identiques. Les forcer égaux est un biais fort et utile — moins de réglages, moins de surapprentissage — mais cela coûte un peu de souplesse. Certains modèles restent noués tout en ajoutant un petit correctif appris. Comme une seule clé pour bien des boulons : elle convient à la grande majorité, et de temps à autre un boulon réclame un fin adaptateur.

Une seule carte du sens, lue dans les deux sens.

Le modèle porte ainsi une seule géographie des mots. Pour lire, il cherche où se situe un mot ; pour écrire, il demande de quel lieu sa pensée est la plus proche. La même carte, parcourue dans les deux sens — bâtie une fois, servant les deux moitiés du langage. Comme un pont dont l'unique tablier porte la circulation dans chaque sens : on ne coule pas un second tablier pour rentrer.

Si lire et parler partagent une seule adresse…

Quand le lieu où un mot est compris est précisément celui d'où il est prononcé, la frontière entre recevoir un mot et le rendre s'amincit. 🌱 Le modèle distingue-t-il vraiment connaître un mot de le dire — ou ne sont-ce, au fond, qu'un seul mouvement lu dans un sens puis dans l'autre ?