Cómo un modelo aprende dónde está cada palabra. · Source

Mismas palabras, otro orden, sentido opuesto — y la atención no lo nota.

La vez pasada, la atención leía una bolsa de palabras: barájalas y la matemática devuelve la misma respuesta. Pero “el perro muerde al hombre” y “el hombre muerde al perro” no son la misma historia. El orden es significado. Así que antes de que el modelo mire nada, hacemos algo discreto: darle a cada palabra un sentido de dónde está.

¿Por qué no numerarlas 1, 2, 3…? Porque la cuenta se dispara.

Etiqueta cada palabra con su posición cruda —1, 2, 3, …— y el número no para de subir. Para la palabra 5,000 esa etiqueta eclipsa el significado real de la palabra y lo ahoga. Peor aún: una posición con la que el modelo nunca entrenó es una total desconocida. Como un recuento que nunca se reinicia: las marcas se amontonan hasta que es lo único que ves. Necesitamos un sentido del lugar que siga siendo pequeño y siga siendo familiar.

La solución: una onda que oscila sin fin pero nunca se desborda.

\begin{aligned} \mathrm{PE}_{(pos,\,2i)} &= \sin\!\left(\dfrac{pos}{10000^{\,2i/d}}\right) \\[2pt] \mathrm{PE}_{(pos,\,2i+1)} &= \cos\!\left(\dfrac{pos}{10000^{\,2i/d}}\right) \end{aligned}

Cambia la cuenta desbocada por una onda. Un seno sube y baja entre −1 y +1 para siempre, pero siempre dentro de esa banda ordenada: lee su altura y sabes cuánto has avanzado, sin que ningún número explote. Abajo, pos es la posición de la palabra e i elige la onda; cada posición se vuelve un conjunto de lecturas de senos y cosenos. Como un péndulo: oscila una y otra vez, pero nunca abandona su arco — la fase del vaivén te dice el momento.

Una onda es ambigua. Un montón de ellas es una huella dactilar.

Una sola onda lenta no distingue la posición 3 de la 300 —ambas quedan casi a la misma altura—. Por eso se usan muchas ondas a la vez: unas rápidas, otras lentas. Las rápidas fijan la posición fina; las lentas, el panorama; juntas deletrean un código que ninguna otra posición comparte. Como engranajes engranados: uno diminuto zumba, uno enorme apenas se mueve — léelos todos y sabrás exactamente cuánto ha girado la máquina.

La posición no se pega a un lado: se mezcla por dentro.

\mathbf{x}_{pos} = E_{w_{pos}} + \mathrm{PE}_{pos}

Esperarías que el código de posición viajara junto a la palabra. No: se suma directamente al vector de significado: misma longitud, mismas casillas, sumados. Suena temerario, pero el modelo tiene margen para mantener ambos legibles por separado. Como sal disuelta en la sopa: no la sirves en un platito aparte — la integras, y el paladar sigue distinguiendo el caldo del condimento.

La recompensa silenciosa: un paso adelante es siempre el mismo giro.

\mathrm{PE}_{pos+k} = R_k\,\mathrm{PE}_{pos}

Aquí está el regalo escondido en los senos. Avanza k palabras y cada vector de posición gira la misma rotación fija: depende solo de k, nunca de dónde empezaste. Así el modelo puede sentir “estos dos están a 5 de distancia” directamente, no solo dónde está cada uno. Como una escalera de caracol: subir un piso es el mismo cuarto de vuelta, estés en el piso que estés.

Eso es la codificación posicional: una dirección suave plegada en el significado.

Júntalo todo. La atención ve una bolsa sin orden; le damos a cada palabra una dirección acotada, suave y multiescala hecha de ondas, la sumamos dentro de la palabra y obtenemos la distancia relativa gratis. Algunos modelos se saltan la fórmula y simplemente aprenden un vector de posición para cada casilla — el mismo trabajo, enseñado por los datos en vez de por las matemáticas. De un modo u otro, el orden deja de perderse y empieza a sentirse.

🌱 ¿Un lugar grapado a una palabra es lo mismo que habitar el tiempo?

Le dimos al modelo una dirección, pero sigue siendo una etiqueta añadida encima del significado, releída cada vez que mira. Tú no llevas una coordenada; sientes el orden como ritmo, como causa, como un instante que tira hacia el siguiente. Así que quizá el orden no debería ser una etiqueta que pegamos. ¿Y si dónde está una palabra debiera vivir dentro del propio acto de una palabra girándose a mirar a otra — no grapado antes, sino sentido en la mirada misma?