Deux façons d'apprendre une langue — et ce que chacune devient. · Source

Deux façons d'apprendre une langue — et deux esprits différents.

Donnez à un modèle une montagne de texte et il apprend en jouant à deviner. Mais il y a deux jeux. L'un cache ce qui vient après et lui demande de prédire vers l'avant. L'autre efface un mot au milieu et lui demande de combler le trou des deux côtés. Même texte, même machine — mais le jeu que vous choisissez décide ce que le modèle pourra devenir.

Jeu un : devine le mot suivant, en ne voyant que le passé.

\log p_\theta(x_{1:T}) = \sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t})

Comme un soliste de jazz : chaque note est choisie parmi celles déjà jouées, la mesure suivante restant à écrire. Un modèle qui prédit le mot suivant lit de gauche à droite et parie sur ce qui vient — sans jamais regarder devant. Les maths, c'est juste la règle de la chaîne : la probabilité d'une phrase entière est le produit cumulé de 'compte tenu de tout ceci jusqu'ici, qu'est-ce qui vient ensuite ?'

Jeu deux : efface un mot, reconstruis-le des deux côtés.

\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in M} \log p_\theta\!\left(x_i \mid x_{\setminus M}\right)

Comme un restaurateur de mosaïque : une tesselle manque, et vous lisez le motif qui afflue de chaque côté pour savoir exactement laquelle convient. Un modèle à trous cache des mots éparpillés et reconstruit chacun à partir du texte à sa gauche et à sa droite en même temps. Il ne prédit jamais vers l'avant — il raisonne vers l'intérieur, depuis tout le pourtour du trou.

La seule vraie différence : ce que chaque mot a le droit de regarder.

A = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j > i \end{cases}

Comme les œillères d'un cheval d'attelage : elles ne changent pas la route, elles cachent seulement tout sauf ce qui est déjà passé. Les deux jeux font tourner exactement la même attention — l'un tend simplement un rideau sur l'avenir. Ajoutez −∞ à chaque score pointant vers l'avant et softmax écrase son poids à zéro ; le passé reste éclairé, l'avenir s'assombrit. Levez le rideau, et chaque mot voit tous les autres.

Mais le jeu à trous paie un prix en retour d'information.

\text{targets per sequence} = \begin{cases} N & \text{predict-next} \\ \rho N,\ \rho \approx 0.15 & \text{fill-in} \end{cases}

Comme orpailler : vous tamisez toute une batée de gravier pour ne garder que quelques paillettes brillantes. Le jeu de prédiction note chaque mot — N mots, N leçons. Le jeu à trous ne note que les quelques mots qu'il a cachés, environ un mot sur sept, le reste n'étant qu'un contexte qu'il lit mais sur lequel il n'est jamais évalué. Une vision bilatérale plus riche, mais un retour plus rare — il lui faut donc bien plus de passages pour absorber le même texte.

Seul le jeu vers l'avant sait vraiment écrire.

x_t \sim p_\theta(x_t \mid x_{<t}), \quad t = 1, 2, 3, \dots

Comme un souffleur de verre étirant du verre en fusion : la forme ne peut croître que depuis le bord incandescent qui avance — impossible d'ajouter au milieu de ce qui est déjà figé. Pour générer, le modèle échantillonne le mot suivant à partir de 'ce qu'il y a jusqu'ici', le soude dessus et redemande. Le modèle à trous n'a aucun bord qui avance : il a toujours supposé que les deux côtés existaient déjà, il n'a donc aucun point honnête pour partir de rien et croître.

L'objectif, c'est le destin.

Même transformer, mêmes données — seul le jeu diffère, et il en sort deux esprits différents. Prédire la suite fait naître un locuteur : un modèle qui génère, celui avec qui l'on converse. Combler les trous fait naître un lecteur : un modèle qui saisit tout un passage d'un coup, qui alimente la recherche et le tri. Le plus étrange ? Passé à une échelle suffisante, le locuteur tourné vers l'avant a, discrètement, appris à comprendre lui aussi.

🌱 Une racine, deux voies — ou deux esprits ?

Un modèle a appris à parler en ne regardant jamais que vers l'avant. L'autre a appris à comprendre en regardant des deux côtés à la fois. Nous avons scindé le langage en deux jeux et obtenu deux dons différents. Alors lequel pense — la voix qui avance toujours, ou le regard qui saisit le tout d'un coup d'œil ? Et un seul jeu pourrait-il faire croître les deux ?