なぜ一つのニューロンが同時にいくつもの意味を持つのか。 · Source

一つのニューロンをのぞくと、無関係な十数のことに反応して光る。

一つのニューロンは一つの意味を持つはずだと思うだろう。ところが同じニューロンが、DNAにも、フランス語にも、完璧なフリースローにも反応する。なぜこんなごちゃ混ぜに？モデルがニューロンの数より多くの考えを抱えているからだ——だから共有させる。一つのニューロンを読んでも、にじんだ像しか読めない。意味の本当の単位は、別のところに隠れている。

考えはニューロンではない。方向だ。

\mathbf{x} \approx \sum_{i} f_i\,\mathbf{d}_i

捉え直そう:概念とは一つのニューロンの発火ではなく、すべてのニューロンにまたがる一本の方向だ。目に見えるのは、その方向を足し合わせたもの——それぞれが、その考えがどれだけ強く存在するかに応じて持ち上げられている。和音のように:複数の弦を同時に押さえても、別々には聞こえない——一つの音として聞こえ、どの音もその中に畳み込まれたままだ。

混同をゼロにしたい？すべての考えを直角にすればいい。

\mathbf{d}_i \cdot \mathbf{d}_j = 0 \;\Rightarrow\; \text{at most } d \text{ such directions in } \mathbb{R}^{d}

直角に交わる二つの方向は、互いに決してにじまない——完全に分かれ、重なりはゼロだ。ならば、すべての考えに専用の直角な方向を与えればいい？ところが足りなくなる。部屋の隅のように:三つの辺がきれいな直角で出会い、四本目を立てる場所はもうない。d次元の空間が渡してくれるきれいな方向は、ちょうどd本——それ以上はない。

『ちょうど90°』を『だいたい90°』に緩める——すると空間が爆発的に増える。

N \sim \exp\!\big(c\,\varepsilon^{2} d\big), \qquad |\mathbf{d}_i \cdot \mathbf{d}_j| \le \varepsilon

ここに抜け道がある。完璧な直角という要求を捨て、ほんのわずかな重なりを許す——すると、使える方向の数は次元の数に縛られなくなり、それをはるかに超えて爆発的に増えはじめる。ウニのように:一つの小さな体から何百本もの棘が放射状に伸び、二本として完全には平行でなく、それぞれがほぼ別々の向きを持つ。ほぼ直角は、ほぼ同じくらい役に立つと分かる——しかも、その余地は桁違いに大きい。

重なりは混乱を招くはず。だが疎であることが、それを静かに保つ。

\langle \mathbf{d}_i, \mathbf{x}\rangle = f_i + \underbrace{\sum_{j \ne i} f_j\,(\mathbf{d}_i \cdot \mathbf{d}_j)}_{\text{interference}}

だが重なりは混信を意味する:一つの考えを読み取れば、その傾きを共有するあらゆる考えのかすかな染みまで拾ってしまう。なぜそれがすべてを台無しにしないのか？考えが疎だからだ——どの瞬間も、点いているのはほんの一握り。スパイスの引き出しのように:瓶は百あっても、一皿が手を伸ばすのは三つだけ。ぶつかり合う二つの香りが一緒に入ることはほぼなく——だから衝突はほぼ起きない。

かすかな雑音が残る。単純な床が、それを拭い去る。

考えが疎であっても、その下には必ず少しの干渉が鳴っている。対処はほとんど荒っぽい:床を設ける——それより下はすべてゼロにし、上はそのまま素通りさせる。かすかな混信は決して線を越えられず、本物の、いま在る考えだけがその上に立ち上がる。山の雪線のように:ある高さより下では何も積もらず、岩はむき出しのまま——十分に高いところでだけ、白は留まる。そのたった一つのしきい値が、ひしめき合いを安全に保っている。

こうして一つのニューロンは、同時にいくつもの意味を帯びることになる。

n_k = \mathbf{e}_k \cdot \mathbf{x} = \sum_{i} f_i\,(\mathbf{d}_i)_k

ここで冒頭の謎が解ける。ニューロンとは、空間全体の一本の軸にすぎない——そして、その向きがほんの少しでもそちらへ傾くあらゆる考えに対して、すべて反応して光る。無関係な数十の概念が、それぞれ同じ軸へわずかに傾き、みな同じ細胞を発火させる。水場のように:シマウマも、コウノトリも、イボイノシシも、一つの水たまりを分け合う——似ているからではなく、みなたまたまそこを通るからだ。ニューロンは少しも混乱していなかった。混乱していたのは私たちのほうだ——間違ったものから意味を読もうとして。

🌱 どのニューロンも考えを宿していないなら、それはどこに棲むのか。

私たちは、記憶を、言葉を、顔を宿す細胞を探し続ける——けれど、そんなものはない。どの考えも、何千ものニューロンにまたがる一本の方向として塗り広げられ、どのニューロンも、何千もの考えの断片を抱えている。意味は確かに在るのに、住所を持たない。思考は、そもそも場所になど一度もなかったのかもしれない——ただ模様の中にだけ。和音が、どの弦にもなく、空気のすべてに在るように。