Comment démêler les idées d'un modèle en concepts lisibles. · Source

Un neurone veut dire une douzaine de choses. Nous avons appris à les démêler.

Un modèle entraîné replie des milliers d'idées dans chaque signal — alors jeter un œil à un seul neurone ne dit presque rien. Comme un prisme : la lumière blanche semble n'avoir rien de particulier, mais séparez-la et une bande de couleurs pures se déploie. Nous avons bâti un prisme pour l'esprit d'un modèle, et lu ses concepts une couleur nette à la fois.

Pourquoi pas lire un neurone ? Il fait tout à la fois.

Il y a bien plus d'idées que de neurones, donc chaque cellule cumule les emplois : l'une s'allume pour la poésie, pour Python, pour la couleur bleu sarcelle. Comme un détecteur de fumée : un même bip pour une tartine brûlée, une douche chaude ou un vrai incendie. Le signal crie il s'est passé quelque chose, jamais quoi. Lire le neurone ne dit rien que l'on puisse nommer.

La parade : un dictionnaire plus long que le modèle n'est large.

x \approx b_{dec} + \sum_{i=1}^{M} f_i\, d_i, \qquad M \gg d

Cessez de lire les neurones. Apprenez plutôt un long dictionnaire de directions-concepts — bien plus d'entrées que de neurones — et reconstruisez chaque signal comme une courte somme de quelques-unes. Comme le mur de tiroirs d'une quincaillerie : des milliers de petits tiroirs, une sorte de pièce dans chacun, pour que rien ne se partage. En clair : le signal est une base plus une poignée de directions du dictionnaire activées, et le dictionnaire M écrase le nombre de neurones d.

Forcez-en quelques-unes seulement : voilà ce qui les rend nettes.

f = \mathrm{ReLU}(W_{enc}\, x + b_{enc}), \qquad \lVert f \rVert_0 \ll M

Un dictionnaire surchargé pourrait encore brouiller. Le remède est la parcimonie : à tout instant, seules quelques entrées peuvent s'allumer. Privée de place pour se partager, chacune est forcée de se spécialiser, de représenter une seule chose nommable. Comme un orgue à tuyaux : des centaines de tuyaux, mais tout accord n'en sonne que quelques-uns, et chacun qui sonne est une note pure. En clair : le code garde presque toutes les entrées à zéro, si bien que les rares qui s'activent portent chacune un seul concept.

Deux règles qui s'opposent : reconstruire, mais à peu de frais.

\mathcal{L} = \lVert x - \hat{x} \rVert_2^2 + \lambda \lVert f \rVert_1

Comment l'entraîner ? Comprimez le signal dans ce code parcimonieux, reconstruisez-le depuis le dictionnaire, et notez sur deux choses à la fois. Comme une recette réduite à ses rares ingrédients : recréez toute la saveur, mais payez chaque ajout, pour que seul survive ce qui change vraiment le goût. Le premier terme dit reconstruis fidèlement ; le second facture des frais, λ, pour chaque entrée laissée allumée. Cette tension est ce qui sculpte des concepts nets dans le flou.

Les concepts sont-ils réels ? Montez-en un et voyez.

Un nom lu sur une caractéristique pourrait être un hasard. Alors testez-le : ouvrez une entrée en grand et regardez le modèle bouger. Poussez la caractéristique « tout ce qui est nautique » et chaque phrase dérive vers la mer. Comme une goutte de teinture dans l'eau claire : une goutte, et cette couleur exacte s'épanouit dans tout le verre. La caractéristique n'est pas qu'une étiquette : c'est une poignée que l'on peut tirer.

Nommez les pièces, et le câblage de la machine apparaît.

Voici le vrai trésor. Les caractéristiques nommées à chaque couche, on voit lesquelles en alimentent d'autres : ce concept qui en allume un autre, couche après couche. Un petit schéma lisible du câblage d'une vraie pensée en ressort. Comme la vue éclatée d'une montre : chaque rouage mis à nu, engrenant avec le suivant, le mouvement enfin lisible. On cesse de décrire les pièces pour lire la machine.

Nous avons lu ses concepts. Mais à qui sont-ils ?

Nous avons choisi la taille du dictionnaire, et le degré de parcimonie. Nous avons lu les noms des caractéristiques nous-mêmes. Et une part de chaque signal n'entre jamais dans aucune entrée nette : un résidu que le prisme ne sépare pas. Alors, avons-nous découvert les concepts propres de l'esprit, ou lui avons-nous discrètement tendu les nôtres ? 🌱 La porte est ouverte. Nous ne voyons toujours pas toute la pièce.