Cómo una palabra se convierte en un punto en el espacio. · Source

Un modelo no sabe leer una palabra. Así que la convierte en un lugar.

Para un modelo, cat no son tres letras: es un punto en el espacio, de unos cientos de números. Lo asombroso: el modelo coloca esos puntos de modo que la cercanía signifique parecido. cat cae a una manzana de dog y a toda una ciudad de Tuesday. El significado se vuelve un mapa, y ese mapa es un embedding.

El primer intento torpe: darle a cada palabra su propio interruptor.

\text{cat}=[\,0,\dots,1,\dots,0\,]\in\{0,1\}^{V},\qquad \text{cat}\cdot\text{dog}=0

La codificación obvia: una casilla por palabra del vocabulario, todo ceros salvo un único 1. Pero entonces cada par de palabras queda igual de lejos: cat no está más cerca de dog que de Tuesday. Su solapamiento es exactamente cero. Cincuenta mil casillas para no decir casi nada. Como un muro de interruptores: uno levantado por palabra, cada palabra una isla solitaria.

La solución: describir una palabra con unos cientos de diales.

\text{cat}\mapsto\mathbf{v}=[\,0.21,\,-1.3,\,\dots,\,0.07\,]\in\mathbb{R}^{d},\quad d\ll V

Cambia cincuenta mil casillas casi vacías por unos cientos de números reales: coordenadas. Ahora una palabra no es una etiqueta, es una ubicación, y las ubicaciones pueden estar cerca o lejos. Cada número es un matiz del significado; juntos fijan la palabra en un punto. Como luz blanca a través de un prisma: un haz simple se abre en todo un espectro, cada franja una parte distinta de lo mismo.

¿Cuán cerca están dos palabras? Mide el ángulo entre ellas.

\cos\theta=\dfrac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\,\lVert\mathbf{b}\rVert}

Para comparar dos palabras, mira el ángulo entre sus vectores, no la distancia bruta. Similitud del coseno: apuntar en la misma dirección puntúa 1 (casi sinónimos), en ángulo recto 0 (sin relación), justo opuestas −1. La dirección lleva el significado; la longitud no. Como dos haces de linterna: apuntados casi juntos casi se funden; cuanto más ancho el ángulo entre ellos, menos comparten.

¿De dónde salen los números? De la compañía que una palabra frecuenta.

\max\ \sum_{t}\sum_{-m\le j\le m,\ j\ne 0}\ \log p\!\left(w_{t+j}\mid w_t\right)

Nadie fija las coordenadas a mano. El modelo lee océanos de texto y empuja el vector de cada palabra para que prediga las palabras de su alrededor. Las palabras que aparecen en la misma compañía van juntándose: cat y dog acaban vecinas porque frecuentan a los mismos amigos. Como un mercado ordenado por semejanza: limones junto a limas, bayas junto a bayas; lo que comparte compañía acaba en el mismo estante.

El giro: se puede hacer aritmética con el significado.

\mathbf{v}_{\text{king}}-\mathbf{v}_{\text{man}}+\mathbf{v}_{\text{woman}}\approx\mathbf{v}_{\text{queen}}

Como ahora el significado es geometría, las direcciones llevan conceptos. El paso de man a woman es el mismo paso que de king a queen: así que resta man, suma woman y aterrizas justo al lado de queen. Nadie construyó un eje de 'género'; simplemente surgió. Como dos rastros de esquí paralelos: la flecha que une un par corre paralela a la que une el otro.

Júntalo todo: toda una geografía del significado, dibujada por sí sola.

Unos cientos de números por palabra, ordenados por compañía, comparados por ángulo, y de ahí cae un mapa: los barrios son temas, las direcciones son conceptos que nadie nombró (tiempo verbal, plural, sentimiento), y el modelo trazó cada línea solo, a partir de texto crudo. Eso es un embedding: el significado convertido en un lugar que puedes medir. Como partir una geoda: una piedra apagada por fuera, un mundo ordenado de cristal por dentro.

🌱 Si el significado vive en los huecos, ¿qué llena los vacíos?

El modelo nunca leyó una definición. Aprendió qué significan las palabras solo a partir de junto a qué palabras se sitúan: el significado vive en las distancias entre los puntos, nunca dentro de ninguno. Entonces, ¿el significado de una palabra es algo que tiene, o solo una red de cuán lejos está de todas las demás? Y allá, en los tramos vacíos de ese espacio, donde ninguna palabra ha aterrizado jamás, ¿esperan pensamientos para los que sencillamente nunca acuñamos una palabra?