Como uma palavra vira um ponto no espaço. · Source

Um modelo não sabe ler uma palavra. Então ele a transforma num lugar.

Para um modelo, cat não são três letras — é um ponto no espaço, com algumas centenas de números. O mais doido: o modelo organiza esses pontos de forma que proximidade signifique semelhança. cat cai a um quarteirão de dog e a uma cidade inteira de Tuesday. O sentido vira um mapa — e esse mapa é um embedding.

A primeira tentativa desajeitada: dar a cada palavra seu próprio interruptor.

\text{cat}=[\,0,\dots,1,\dots,0\,]\in\{0,1\}^{V},\qquad \text{cat}\cdot\text{dog}=0

A codificação óbvia: uma casa por palavra do vocabulário, tudo zero menos um único 1. Mas aí cada par de palavras fica igualmente distante — cat não está mais perto de dog do que de Tuesday. A sobreposição entre elas é exatamente zero. Cinquenta mil casas pra dizer quase nada. Como uma parede de interruptores: um levantado por palavra, cada palavra uma ilha solitária.

A saída: descrever uma palavra com algumas centenas de botões.

\text{cat}\mapsto\mathbf{v}=[\,0.21,\,-1.3,\,\dots,\,0.07\,]\in\mathbb{R}^{d},\quad d\ll V

Troque cinquenta mil casas quase vazias por algumas centenas de números reais — coordenadas. Agora uma palavra não é um rótulo, é um lugar, e lugares podem ficar perto ou longe. Cada número é um tom do sentido; juntos, fixam a palavra num ponto. Como luz branca atravessando um prisma: um feixe simples se abre em todo um espectro, cada faixa uma parte diferente da mesma coisa.

Quão próximas estão duas palavras? Meça o ângulo entre elas.

\cos\theta=\dfrac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\,\lVert\mathbf{b}\rVert}

Pra comparar duas palavras, olhe o ângulo entre os vetores delas, não a distância bruta. Similaridade do cosseno: apontar na mesma direção dá 1 (quase sinônimos), em ângulo reto 0 (sem relação), exatamente opostos −1. A direção carrega o sentido; o comprimento não. Como dois fachos de lanterna: apontados quase juntos quase se fundem; quanto mais largo o ângulo entre eles, menos compartilham.

De onde vêm os números? Da companhia que uma palavra mantém.

\max\ \sum_{t}\sum_{-m\le j\le m,\ j\ne 0}\ \log p\!\left(w_{t+j}\mid w_t\right)

Ninguém ajusta as coordenadas na mão. O modelo lê oceanos de texto e empurra o vetor de cada palavra pra prever as palavras ao redor dela. Palavras que aparecem na mesma companhia vão se juntando — cat e dog viram vizinhas porque andam com os mesmos amigos. Como um mercado arrumado por semelhança: limões ao lado de limas, frutas vermelhas ao lado de frutas vermelhas — o que mantém companhia parecida acaba na mesma prateleira.

A virada: dá pra fazer aritmética com o sentido.

\mathbf{v}_{\text{king}}-\mathbf{v}_{\text{man}}+\mathbf{v}_{\text{woman}}\approx\mathbf{v}_{\text{queen}}

Como o sentido agora é geometria, as direções carregam conceitos. O passo de man pra woman é o mesmo passo de king pra queen — então subtraia man, some woman, e você aterrissa bem ao lado de queen. Ninguém construiu um eixo de 'gênero'; ele simplesmente surgiu. Como dois rastros de esqui paralelos: a seta que liga um par corre paralela à que liga o outro.

Junte tudo: toda uma geografia do sentido, desenhada sozinha.

Algumas centenas de números por palavra, arrumados por companhia, comparados por ângulo — e daí cai um mapa: os bairros são temas, as direções são conceitos que ninguém nomeou (tempo verbal, plural, sentimento), e o modelo traçou cada linha sozinho, a partir de texto cru. Isso é um embedding — o sentido virado num lugar que dá pra medir. Como abrir um geodo: uma pedra sem graça por fora, um mundo estruturado de cristal por dentro.

🌱 Se o sentido vive nas brechas, o que preenche as vazias?

O modelo nunca leu uma definição. Ele aprendeu o que as palavras significam só a partir de quais palavras ficam perto delas — o sentido vivendo nas distâncias entre os pontos, nunca dentro de nenhum deles. Então o sentido de uma palavra é algo que ela tem, ou só uma teia de quão longe ela está de todas as outras? E lá, nas extensões vazias desse espaço, onde nenhuma palavra jamais pousou — será que esperam ali pensamentos para os quais a gente simplesmente nunca cunhou uma palavra?