Como desembaraçamos as ideias de um modelo em conceitos que podemos ler. · Source

Um neurônio significa uma dúzia de coisas. Aprendemos a separá-las.

Um modelo treinado dobra milhares de ideias em cada sinal — então espiar um único neurônio não diz quase nada. Como um prisma: a luz branca parece não ter nada de especial, mas separe-a e uma faixa de cores puras se abre. Construímos um prisma para a mente de um modelo e lemos seus conceitos uma cor limpa de cada vez.

Por que não ler um neurônio? Ele faz de tudo ao mesmo tempo.

Há muito mais ideias do que neurônios, então cada célula acumula funções: uma acende para a poesia, para o Python, para a cor verde-azulada. Como um alarme de fumaça: um mesmo apito para a torrada queimada, o banho quente ou um incêndio de verdade. O sinal grita algo aconteceu, nunca o quê. Ler o neurônio não diz nada que você possa nomear.

A saída: um dicionário mais longo do que o modelo é largo.

x \approx b_{dec} + \sum_{i=1}^{M} f_i\, d_i, \qquad M \gg d

Pare de ler neurônios. Em vez disso, aprenda um longo dicionário de direções-conceito — muito mais entradas do que neurônios — e reconstrua cada sinal como uma curta soma de algumas delas. Como a parede de gavetas de uma loja de ferragens: milhares de gavetinhas, um tipo de peça em cada uma, para que nada seja compartilhado. Em palavras simples: o sinal é uma base mais um punhado de direções do dicionário ligadas, e o dicionário M é muito maior que o número de neurônios d.

Force só algumas a acender de cada vez: é isso que as deixa limpas.

f = \mathrm{ReLU}(W_{enc}\, x + b_{enc}), \qquad \lVert f \rVert_0 \ll M

Um dicionário lotado ainda poderia borrar. A cura é a esparsidade: a cada instante, apenas um punhado de entradas pode acender. Sem espaço para compartilhar, cada uma é forçada a se especializar, a representar uma única coisa nomeável. Como um órgão de tubos: centenas de tubos, mas todo acorde soa apenas alguns, e cada um que soa é uma nota pura. Em palavras simples: o código mantém quase todas as entradas em zero, então as poucas que disparam carregam um único conceito.

Duas regras puxando em sentidos opostos: reconstruir, mas barato.

\mathcal{L} = \lVert x - \hat{x} \rVert_2^2 + \lambda \lVert f \rVert_1

Como treiná-lo? Comprima o sinal nesse código esparso, reconstrua-o a partir do dicionário e avalie em duas coisas ao mesmo tempo. Como uma receita reduzida aos seus mínimos ingredientes: recrie todo o sabor, mas pague por cada item que adicionar, para que só sobreviva o que de fato muda o gosto. O primeiro termo diz reconstrua com fidelidade; o segundo cobra uma taxa, λ, por cada entrada deixada acesa. Essa tensão é o que esculpe conceitos limpos a partir do borrão.

Os conceitos são reais? Aumente um e descubra.

Um nome lido em uma característica pode ser coincidência. Então teste: abra uma entrada por completo e veja o modelo se mover. Empurre a característica de 'tudo que é náutico' e cada frase deriva para o mar. Como uma gota de corante na água limpa: uma gota, e aquela cor exata floresce por todo o copo. A característica não é só um rótulo: é uma alavanca que você pode puxar.

Nomeie as peças, e a fiação da máquina aparece.

Agora o verdadeiro prêmio. Com as características nomeadas em cada camada, dá para ver quais alimentam quais: este conceito acendendo aquele, camada após camada. Surge um pequeno diagrama legível da fiação de um pensamento real. Como a vista explodida de um relógio: cada engrenagem à mostra, engatando na seguinte, o mecanismo enfim legível. Paramos de descrever as peças e começamos a ler a máquina.

Lemos seus conceitos. Mas de quem são eles?

Escolhemos o tamanho do dicionário e quanta esparsidade impor. Lemos os nomes das características nós mesmos. E parte de cada sinal nunca cabe em nenhuma entrada limpa: um resíduo que o prisma não separa. Então, descobrimos os conceitos da própria mente, ou lhe entregamos em silêncio os nossos? 🌱 A porta está aberta. Ainda não vemos o quarto inteiro.