Dos formas de aprender un idioma — y en qué se convierte cada una. · Source

Dos formas de aprender un idioma — y dos mentes distintas.

Dale a un modelo una montaña de texto y aprende jugando a adivinar. Pero hay dos juegos. Uno oculta lo que viene después y le pide predecir hacia adelante. El otro borra una palabra en medio y le pide rellenar el hueco desde ambos lados. Mismo texto, misma máquina — pero el juego que elijas decide en qué podrá convertirse el modelo.

Juego uno: adivina la próxima palabra, viendo solo el pasado.

\log p_\theta(x_{1:T}) = \sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t})

Como un solista de jazz: cada nota se elige entre las ya tocadas, con el siguiente compás aún sin escribir. Un modelo que predice la próxima palabra lee de izquierda a derecha y apuesta por lo que sigue — sin asomarse nunca a lo que viene. La matemática es solo la regla de la cadena: la probabilidad de una frase entera es el producto acumulado de 'dado todo esto hasta ahora, ¿qué viene después?'

Juego dos: borra una palabra y reconstrúyela desde ambos lados.

\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in M} \log p_\theta\!\left(x_i \mid x_{\setminus M}\right)

Como un restaurador de mosaicos: falta una tesela, y lees el patrón que fluye desde cada lado para saber exactamente cuál encaja. Un modelo de rellenar huecos oculta palabras dispersas y reconstruye cada una a partir del texto a su izquierda y derecha a la vez. Nunca predice hacia adelante — razona hacia adentro, desde todo el contorno del hueco.

La única diferencia real: qué puede mirar cada palabra.

A = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j > i \end{cases}

Como las anteojeras de un caballo de tiro: no cambian el camino, solo ocultan todo salvo lo ya recorrido. Ambos juegos usan exactamente la misma atención — uno simplemente cuelga una cortina sobre el futuro. Suma −∞ a cada puntuación que apunte hacia adelante y softmax aplasta su peso a cero; el pasado queda iluminado, el futuro se oscurece. Levanta la cortina y cada palabra ve a todas las demás.

Pero el juego de rellenar paga un precio en retroalimentación.

\text{targets per sequence} = \begin{cases} N & \text{predict-next} \\ \rho N,\ \rho \approx 0.15 & \text{fill-in} \end{cases}

Como cribar oro en batea: remueves toda una batea de grava para quedarte solo con unas pocas pepitas brillantes. El juego de predecir califica cada palabra — N palabras, N lecciones. El de rellenar califica solo las pocas que ocultó, alrededor de una palabra de cada siete, mientras el resto es contexto que lee pero que nunca se le examina. Una visión bilateral más rica, pero menos retroalimentación — así que necesita muchas más pasadas para absorber el mismo texto.

Solo el juego hacia adelante puede de verdad escribir.

x_t \sim p_\theta(x_t \mid x_{<t}), \quad t = 1, 2, 3, \dots

Como un soplador de vidrio estirando vidrio fundido: la forma solo puede crecer desde el borde incandescente que avanza — no puedes añadir al centro de lo ya solidificado. Para generar, el modelo muestrea la próxima palabra a partir de 'lo que hay hasta ahora', la funde encima y vuelve a preguntar. El modelo de rellenar no tiene borde que avance: siempre supuso que ambos lados ya existían, así que no tiene un punto honesto para empezar de la nada y crecer.

El objetivo es el destino.

Mismo transformer, mismos datos — solo cambia el juego, y salen dos mentes distintas. Predecir lo siguiente hace crecer a un hablante: un modelo que genera, del que conversas. Rellenar hace crecer a un lector: un modelo que abarca un pasaje entero de una vez, que impulsa la búsqueda y la clasificación. ¿Lo más extraño? Llevado a escala suficiente, el hablante que solo mira hacia adelante también aprendió, en silencio, a comprender.

🌱 Una raíz, dos caminos — ¿o dos mentes?

Un modelo aprendió a hablar mirando siempre solo hacia adelante. El otro aprendió a comprender mirando a ambos lados a la vez. Partimos el lenguaje en dos juegos y obtuvimos dos dones distintos. Entonces, ¿cuál de los dos piensa — la voz que siempre avanza, o la mirada que abarca el todo de un vistazo? ¿Y podría un solo juego hacer crecer ambos?