モデルは単語を読めない。だから、それを「場所」に変える。 モデルにとってcat（猫）は三つの文字じゃない——空間の中の一点、数百個の数字の連なりだ。驚くのはここ。モデルはその点々を、近さが似ていることを意味するように並べる。catはdog（犬）のすぐ隣に落ち、Tuesday（火曜日）からは街ひとつ分も離れる。意味が地図になる——その地図がembeddingだ。
ぎこちない最初の試み——単語ごとに専用のスイッチを一つ与える。 cat=[ 0,…,1,…,0 ]∈{0,1}V,cat⋅dog=0\text{cat}=[\,0,\dots,1,\dots,0\,]\in\{0,1\}^{V},\qquad \text{cat}\cdot\text{dog}=0 当たり前の符号化——語彙の単語ごとに一つの枠を割り当て、たった一つの1以外はすべて0にする。でもそれだと、どの二語も等しく離れてしまう——cat（猫）はdog（犬）に対してもTuesday（火曜日）に対しても同じ近さだ。重なりはきっかりゼロ。五万個の枠を使って、ほとんど何も言えていない。スイッチの壁と同じ。単語ごとに一つだけ上がり、どの単語も孤島になる。
解決策——単語を、数百個のつまみで描き出す。 cat↦v=[ 0.21, −1.3, …, 0.07 ]∈Rd,d≪V\text{cat}\mapsto\mathbf{v}=[\,0.21,\,-1.3,\,\dots,\,0.07\,]\in\mathbb{R}^{d},\quad d\ll V ほとんど空っぽの五万個の枠を、数百個の実数——座標——と取り替える。すると単語はラベルではなく居場所になり、居場所どうしは近くにも遠くにもなれる。どの数字も意味のひとつの色合いで、合わさって単語を一点に留める。プリズムを通した白色光と同じ。ただの一本の光がまるごとのスペクトルに開き、どの帯も同じものの違う部分だ。
二つの単語はどれだけ近い? あいだの角度を測ればいい。 cosθ=a⋅b∥a∥ ∥b∥\cos\theta=\dfrac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\,\lVert\mathbf{b}\rVert} 二つの単語を比べるには、生の隔たりではなく、ベクトルのあいだの角度を見る。コサイン類似度。同じ向きなら1（ほぼ同義）、直角なら0（無関係）、真逆なら−1。意味を運ぶのは向きで、長さじゃない。二本の懐中電灯の光と同じ。ほぼ同じ方向に向ければほとんど一つに溶け合い、あいだの角度が広いほど、共有するものは少なくなる。
数字はどこから来る? 単語が連れ立つ仲間からだ。 max ∑t∑−m≤j≤m, j≠0 logp (wt+j∣wt)\max\ \sum_{t}\sum_{-m\le j\le m,\ j\ne 0}\ \log p\!\left(w_{t+j}\mid w_t\right) 座標を手で設定する人はいない。モデルは大海のようなテキストを読み、各単語のベクトルを周りの単語を予測するように少しずつ押し動かす。同じ仲間うちに現れる単語どうしは寄っていく——cat（猫）とdog（犬）が隣どうしになるのは、同じ友達と連れ立つからだ。似たもの順に並べた市場と同じ。レモンの隣にライム、ベリーの隣にベリー——似た仲間を持つものが、同じ棚に収まっていく。
どんでん返し——意味そのもので足し算・引き算ができる。 vking−vman+vwoman≈vqueen\mathbf{v}_{\text{king}}-\mathbf{v}_{\text{man}}+\mathbf{v}_{\text{woman}}\approx\mathbf{v}_{\text{queen}} 意味がいまや幾何になったので、方向が概念を運ぶ。man（男）からwoman（女）への一歩は、king（王）からqueen（女王）への一歩と同じ——だからmanを引き、womanを足すと、ちょうどqueenのすぐ隣に着く。誰も「性別」の軸を作ってはいない。ただ自然に現れた。二本の平行なスキーの跡と同じ。一方の対を結ぶ矢印は、もう一方を結ぶ矢印と平行に走る。
全部を合わせると——意味のまるごとの地理が、ひとりでに描かれている。 単語ごとに数百個の数字、仲間で並べ、角度で比べる——するとそこから地図が落ちてくる。ご近所は話題、方向は誰も名づけていない概念（時制、複数、感情）、そして線はすべてモデルが生のテキストから自分で引いた。それがembedding——測れる場所に変わった意味だ。ジオードを割るのと同じ。外はくすんだ石、中は秩序だった水晶の世界。
🌱 意味が隙間に宿るなら、空っぽの隙間には何がある? モデルは定義を一度も読んでいない。単語の意味を、その単語がどの単語の近くに置かれるかだけから学んだ——意味は点と点のあいだの距離に宿り、どの一点の中にもない。では、単語の意味とは、それが持っている何かなのか、それとも、ほかのすべてからどれだけ離れているかという網の目にすぎないのか? そして、その空間の何もない広がりの中、どの単語もまだ降り立っていない場所には——私たちがただ言葉にし損ねただけの思考が、待っているのだろうか?
