Cómo desenredamos las ideas de un modelo en conceptos que podemos leer. · Source

Una neurona significa una docena de cosas. Aprendimos a separarlas.

Un modelo entrenado pliega miles de ideas en cada señal, así que asomarse a una sola neurona no dice casi nada. Como un prisma: la luz blanca parece no tener nada en particular, pero al separarla se despliega una banda de colores puros. Construimos un prisma para la mente de un modelo y leímos sus conceptos un color limpio a la vez.

¿Por qué no leer una neurona? Hace de todo a la vez.

Hay muchísimas más ideas que neuronas, así que cada célula pluriemplea: una se enciende para la poesía, para Python, para el color verde azulado. Como una alarma de humo: un mismo pitido para una tostada quemada, una ducha caliente o un incendio real. La señal grita algo pasó, nunca qué. Leer la neurona no te dice nada que puedas nombrar.

La solución: un diccionario más largo de lo que el modelo es ancho.

x \approx b_{dec} + \sum_{i=1}^{M} f_i\, d_i, \qquad M \gg d

Deja de leer neuronas. En su lugar, aprende un largo diccionario de direcciones-concepto —muchas más entradas que neuronas— y reconstruye cada señal como una breve suma de unas pocas. Como la pared de cajones de una ferretería: miles de cajoncitos, un tipo de pieza en cada uno, para que nada se comparta. En palabras simples: la señal es una base más un puñado de direcciones del diccionario activadas, y el diccionario M empequeñece al número de neuronas d.

Obliga a que solo unas pocas se enciendan: eso las vuelve limpias.

f = \mathrm{ReLU}(W_{enc}\, x + b_{enc}), \qquad \lVert f \rVert_0 \ll M

Un diccionario abarrotado aún podría emborronar. La cura es la dispersión: en cada momento solo un puñado de entradas puede encenderse. Sin sitio para compartir, cada una se ve forzada a especializarse, a representar una sola cosa nombrable. Como un órgano de tubos: cientos de tubos, pero cualquier acorde suena solo unos pocos, y cada uno que suena es una nota pura. En palabras simples: el código mantiene casi todas las entradas en cero, así que las pocas que se activan llevan un único concepto.

Dos reglas que tiran en contra: reconstruirla, pero barato.

\mathcal{L} = \lVert x - \hat{x} \rVert_2^2 + \lambda \lVert f \rVert_1

¿Cómo se entrena? Comprime la señal en ese código disperso, reconstrúyela desde el diccionario y califícala en dos cosas a la vez. Como una receta reducida a sus mínimos ingredientes: recrea todo el sabor, pero paga por cada cosa que añadas, así solo sobrevive lo que de verdad cambia el gusto. El primer término dice reconstruye con fidelidad; el segundo cobra una tarifa, λ, por cada entrada encendida. Esa tensión es la que talla conceptos limpios a partir del borrón.

¿Son reales los conceptos? Sube uno y averígualo.

Un nombre que lees en una característica podría ser casualidad. Así que pruébalo: abre una entrada de par en par y observa cómo se mueve el modelo. Fuerza la característica de 'todo lo náutico' y cada frase deriva hacia el mar. Como una gota de tinte en agua clara: una gota, y ese color exacto florece por todo el vaso. La característica no es solo una etiqueta: es una palanca que puedes tirar.

Nombra las piezas y aparece el cableado de la máquina.

Ahora el verdadero premio. Con las características nombradas en cada capa, puedes ver cuáles alimentan a cuáles: este concepto encendiendo aquel, capa tras capa. Surge un pequeño diagrama legible del cableado de un pensamiento real. Como la vista despiezada de un reloj: cada engranaje al descubierto, engranando con el siguiente, el mecanismo por fin legible. Dejamos de describir las piezas y empezamos a leer la máquina.

Leímos sus conceptos. Pero ¿de quién son?

Elegimos el tamaño del diccionario y cuánta dispersión imponer. Leímos los nombres de las características nosotros mismos. Y parte de cada señal nunca encaja en ninguna entrada limpia: un residuo que el prisma no separa. Entonces, ¿descubrimos los conceptos propios de la mente o le entregamos en silencio los nuestros? 🌱 La puerta está abierta. Aún no vemos toda la habitación.