Por qué una sola neurona significa muchas cosas a la vez. · Source

Asómate a una neurona y se enciende por una docena de cosas sin relación.

Esperarías que una neurona significara una sola cosa. En cambio, una misma se dispara por el ADN, por el francés, por un tiro libre perfecto. ¿A qué se debe la mezcla? A que el modelo guarda más ideas que neuronas, así que las hace compartir. Lee una neurona y lees un borrón. La verdadera unidad de significado se esconde en otra parte.

Una idea no es una neurona. Es una dirección.

\mathbf{x} \approx \sum_{i} f_i\,\mathbf{d}_i

El giro es este: un concepto no es una neurona disparándose, sino toda una dirección a través de todas ellas. Lo que observas es, sencillamente, esas direcciones sumadas, cada una subida según lo presente que esté su idea. Como un acorde: pulsa varias cuerdas a la vez y no las oyes por separado — oyes un solo sonido, con cada nota aún plegada dentro.

¿Cero confusión? Haz cada idea perpendicular.

\mathbf{d}_i \cdot \mathbf{d}_j = 0 \;\Rightarrow\; \text{at most } d \text{ such directions in } \mathbb{R}^{d}

Dos direcciones en ángulo recto nunca se mezclan entre sí — perfectamente separadas, cero solapamiento. ¿Por qué no darle a cada idea su propia dirección perpendicular? Porque se te acaban. Como la esquina de una habitación: tres aristas se juntan en ángulos rectos limpios, y no hay sitio para una cuarta. Un espacio de d dimensiones te entrega exactamente d direcciones limpias — ni una más.

Afloja 'exactamente 90°' a 'casi 90°' — y el espacio explota.

N \sim \exp\!\big(c\,\varepsilon^{2} d\big), \qquad |\mathbf{d}_i \cdot \mathbf{d}_j| \le \varepsilon

Aquí está la salida. Renuncia a exigir ángulos rectos perfectos, permite una pizca de solapamiento, y el número de direcciones útiles deja de coincidir con las dimensiones y empieza a dispararse por encima de ellas. Como un erizo de mar: de un cuerpo pequeño salen cientos de púas en abanico, sin que dos sean del todo paralelas, cada una con su rumbo casi distinto. Casi perpendicular resulta casi igual de bueno — y hay sitio para muchísimas más.

El solapamiento debería causar caos. La dispersión lo aquieta.

\langle \mathbf{d}_i, \mathbf{x}\rangle = f_i + \underbrace{\sum_{j \ne i} f_j\,(\mathbf{d}_i \cdot \mathbf{d}_j)}_{\text{interference}}

Pero el solapamiento implica diafonía: al leer una idea recoges leves manchas de cada idea que comparte su inclinación. ¿Por qué no lo arruina todo? Porque las ideas son dispersas: en cada instante solo hay un puñado encendidas. Como un cajón de especias: cien tarros, pero un mismo plato echa mano de solo tres. Dos sabores que chocarían casi nunca entran juntos — así que el choque casi nunca ocurre.

Queda un leve zumbido. Un simple suelo lo borra.

Aun cuando las ideas son dispersas, siempre zumba debajo un poco de interferencia. El arreglo es casi tosco: pon un suelo — anula todo lo que quede por debajo y deja pasar de largo todo lo que esté por encima. La diafonía leve nunca cruza la línea; solo una idea real y presente se alza sobre ella. Como la línea de nieve en una montaña: por debajo de cierta altura nada cuaja y la roca queda desnuda; solo lo bastante arriba se sostiene el blanco. Ese único umbral es lo que mantiene a salvo todo el apiñamiento.

Así, una neurona acaba significando muchas cosas a la vez.

n_k = \mathbf{e}_k \cdot \mathbf{x} = \sum_{i} f_i\,(\mathbf{d}_i)_k

Ahora el enigma del principio se disuelve. Una neurona no es más que un eje de todo el espacio — y se enciende ante cada idea cuya dirección se inclina aunque sea un poco hacia ella. Decenas de conceptos sin relación, cada uno ladeándose un poco hacia el mismo eje, disparan todos la misma célula. Como un abrevadero: cebra, cigüeña y jabalí comparten una charca — no porque se parezcan, sino porque todos pasan por allí. La neurona nunca estuvo confundida. Lo estuvimos nosotros — por leer el significado en el sitio equivocado.

🌱 Si ninguna neurona guarda una idea, ¿dónde vive?

Seguimos buscando la célula que guarda un recuerdo, una palabra, un rostro — y no existe. Cada idea está untada como una dirección a través de miles de neuronas; cada neurona lleva retazos de miles de ideas. El significado es real, pero no tiene domicilio. Quizá un pensamiento nunca estuvo en un lugar — solo en un patrón, como un acorde que no está en ninguna cuerda y está en todo el aire.