A única pista compartilhada onde cada camada escreve e lê. · Source

Não é uma torre de caixas. É uma só pista onde tudo escreve.

Imaginamos um modelo como uma pilha de camadas, cada uma passando seu trabalho à seguinte. Não é bem assim. Percorrendo toda a altura do modelo há um único vetor compartilhado: uma pista de números, uma por token. Cada camada lê desta única pista e escreve de volta nela a sua resposta. Nada é passado de caixa em caixa. Tudo se encontra no mesmo lugar.

Como a última camada usa o que a primeira encontrou?

Se cada camada ouvisse apenas a imediatamente anterior, uma descoberta inicial só sobreviveria sendo copiada adiante, passo após passo — e tudo o que se borra no caminho se perde. Como o jogo do telefone: uma frase sussurrada por uma longa fila sai distorcida. A solução não é um sussurro mais nítido. É parar de sussurrar e deixar cada camada escrever na mesma pista compartilhada.

Cada camada lê a pista, soma a ela e não apaga nada.

x_{\ell+1} = x_\ell + F_\ell(x_\ell) \qquad x_L = x_0 + \sum_{\ell=0}^{L-1} F_\ell(x_\ell)

Eis o movimento. Uma camada lê toda a pista acumulada, calcula uma correção e a soma por cima — nunca sobrescreve o que está ali. Como um muro erguido fiada a fiada: cada camada assenta sua fileira sobre a anterior, sem derrubar nada, então o muro pronto é apenas todas as fiadas somadas. Em poucas palavras: o estado final do modelo é o vetor inicial mais a nota acrescentada por cada camada.

Nessa pista, um significado é uma direção.

\text{write: } x \leftarrow x + a\,\mathbf{u} \qquad \text{read: } s = \mathbf{u}^\top x \qquad x \approx \sum_i a_i\,\mathbf{u}_i

Como guardar uma ideia dentro de uma só lista de números que todos compartilham? Como uma direção. Para escrever uma característica, uma camada acrescenta uma pequena seta apontando para certo lado; para lê-la, uma camada posterior mede o quanto a pista se inclina ao longo dessa seta. Como refletores coloridos sobre uma só tela: cada lâmpada acrescenta seu tom à mesma parede, e para ler uma lâmpada você verifica quanto da sua cor aparece. Em poucas palavras: escrever acrescenta uma seta, ler toma uma sombra, e a pista inteira é essas setas somadas.

Uma pista de largura fixa — e ainda assim carrega milhares de ideias.

\langle \mathbf{u}_i, \mathbf{u}_j \rangle = 0 \Rightarrow \text{at most } d \text{ directions} \qquad |\langle \mathbf{u}_i, \mathbf{u}_j \rangle| \le \varepsilon \Rightarrow N \sim e^{\,c\,\varepsilon^{2} d}

A pista tem largura fixa: um número definido de espaços, compartilhados por cada camada e cabeça. Então como ela guarda muito mais ideias do que tem espaços? Ela as agrupa quase, não perfeitamente, separadas. Como pássaros amontoados em um fio: alguns cabem com espaço claro entre si, mas deixe-os pousar quase asa com asa e o mesmo fio sustenta muitos mais — ao custo de um pouco de empurra-empurra. Em poucas palavras: só algumas direções podem estar exatamente separadas, mas um número enorme pode estar quase separado.

Pare em qualquer camada e você pode ler seu palpite atual.

p^{(\ell)} = \mathrm{softmax}\!\left( W_U\, x_\ell \right)

Como a pista é uma única soma acumulada, você pode parar em qualquer camada, passar esse vetor meio pronto pelo mapa de saída do modelo e ler uma resposta provisória — que fica mais nítida com a profundidade. Como uma foto se revelando na cuba: a imagem é legível muito antes de ficar pronta, só que mais tênue e mais grosseira. Em poucas palavras: passe a pista parcial pelo mesmo mapa que lê o palpite final, e sai a melhor resposta do modelo até ali (a menos de um último reescalonamento).

Então o modelo não é uma torre. É uma só mensagem que vai clareando aos poucos.

Junte tudo. Não há um revezamento de caixas lacradas — há uma só corrente, e o modelo inteiro é o primeiro vetor mais a nota de cada camada, lido no fim. A atenção e os blocos feed-forward nunca falam diretamente entre si; eles falam deixando marcas nesta pista compartilhada. Isto é a corrente residual — não o encanamento entre o pensamento, mas o lugar onde o pensamento de fato é guardado.

Nada é apagado — só escrito por cima. Isso é esquecer?

Toda mudança que uma camada faz é somada à pista — nunca apagada. Para retirar um pensamento, o modelo não pode enfiar a mão e arrancá-lo; só pode escrever por cima o seu oposto exato, de modo que os dois se cancelem. O original continua ali, enterrado dentro da soma. 🌱 Se uma mente só pode somar, nunca apagar, algo que ela um dia pensou de fato desaparece?