Pourquoi un seul neurone veut dire plusieurs choses à la fois. · Source

Observe un seul neurone — il s'allume pour une douzaine de choses sans rapport.

On s'attendrait à ce qu'un neurone signifie une seule chose. Au lieu de ça, le même s'active pour l'ADN, pour le français, pour un lancer franc parfait. Pourquoi ce fouillis ? Parce que le modèle détient plus d'idées qu'il n'a de neurones — alors il les fait partager. Lis un neurone et tu lis un flou. La vraie unité de sens se cache ailleurs.

Une idée n'est pas un neurone. C'est une direction.

\mathbf{x} \approx \sum_{i} f_i\,\mathbf{d}_i

Voici le renversement : un concept n'est pas un neurone qui s'active, mais toute une direction à travers tous. Ce que tu observes, c'est simplement ces directions additionnées, chacune montée selon la présence de son idée. Comme un accord : presse plusieurs cordes à la fois et tu ne les entends pas séparément — tu entends un seul son, chaque note encore repliée à l'intérieur.

Zéro confusion ? Rends chaque idée perpendiculaire.

\mathbf{d}_i \cdot \mathbf{d}_j = 0 \;\Rightarrow\; \text{at most } d \text{ such directions in } \mathbb{R}^{d}

Deux directions à angle droit ne se mélangent jamais — parfaitement séparées, aucun chevauchement. Pourquoi ne pas donner à chaque idée sa propre direction perpendiculaire ? Parce que tu épuises le stock. Comme le coin d'une pièce : trois arêtes se rejoignent à angles droits nets, et il n'y a tout simplement pas de place pour une quatrième. Un espace de d dimensions te donne exactement d directions nettes — pas une de plus.

Assouplis 'exactement 90°' en 'environ 90°' — et la place explose.

N \sim \exp\!\big(c\,\varepsilon^{2} d\big), \qquad |\mathbf{d}_i \cdot \mathbf{d}_j| \le \varepsilon

Voici l'échappatoire. Renonce aux angles droits parfaits, autorise un soupçon de chevauchement, et le nombre de directions utilisables cesse de coller aux dimensions pour les dépasser en explosant. Comme un oursin : d'un petit corps, des centaines de piquants rayonnent, jamais deux tout à fait parallèles, chacun selon son cap presque distinct. Presque perpendiculaire se révèle presque aussi bon — et il y a de la place pour infiniment plus.

Le chevauchement devrait semer le chaos. La parcimonie le calme.

\langle \mathbf{d}_i, \mathbf{x}\rangle = f_i + \underbrace{\sum_{j \ne i} f_j\,(\mathbf{d}_i \cdot \mathbf{d}_j)}_{\text{interference}}

Mais le chevauchement, c'est de la diaphonie : lis une idée et tu captes de faibles bavures de chaque idée qui partage son inclinaison. Pourquoi ça ne casse pas tout ? Parce que les idées sont parcimonieuses — à chaque instant, seule une poignée est allumée. Comme un tiroir à épices : cent pots, mais un même plat n'en prend que trois. Deux saveurs qui jureraient ne se croisent presque jamais — alors le clash n'arrive presque jamais.

Un faible bourdonnement subsiste. Un simple plancher l'efface.

Même quand les idées sont parcimonieuses, un peu d'interférence bourdonne toujours en dessous. La parade est presque grossière : pose un plancher — annule tout ce qui passe en dessous, laisse filer tout droit ce qui est au-dessus. La faible diaphonie ne franchit jamais la ligne ; seule une idée réelle et présente s'élève par-dessus. Comme une ligne de neige en montagne : sous une certaine altitude rien ne tient et la roche reste nue ; ce n'est qu'assez haut que le blanc s'accroche. Ce seul seuil, c'est ce qui garde tout cet entassement sans danger.

Ainsi, un neurone finit par signifier plusieurs choses à la fois.

n_k = \mathbf{e}_k \cdot \mathbf{x} = \sum_{i} f_i\,(\mathbf{d}_i)_k

Maintenant l'énigme du début se dissout. Un neurone n'est qu'un axe de tout l'espace — et il s'allume pour chaque idée dont la direction penche, même un peu, vers lui. Des dizaines de concepts sans rapport, chacun inclinant un peu vers le même axe, activent tous la même cellule. Comme un point d'eau : zèbre, cigogne et phacochère partagent une mare — non parce qu'ils se ressemblent, mais parce qu'ils passent tous par là. Le neurone n'a jamais été confus. C'est nous qui l'étions — à lire le sens au mauvais endroit.

🌱 Si aucun neurone ne détient une idée, où vit-elle ?

On continue de chercher la cellule qui détient un souvenir, un mot, un visage — et elle n'existe pas. Chaque idée est étalée comme une direction à travers des milliers de neurones ; chaque neurone porte des bribes de milliers d'idées. Le sens est réel, et pourtant il n'a pas d'adresse. Peut-être qu'une pensée n'a jamais été dans un lieu — seulement dans un motif, comme un accord qui n'est sur aucune corde et partout dans l'air.