Como um modelo impede que o sinal de cada camada exploda ou desapareça. · Source

Vá fundo o bastante e o sinal explode em silêncio — ou some.

Uma rede profunda passa seu sinal por camada após camada. Cada uma multiplica e soma, e pequenos desequilíbrios de escala se acumulam: na décima camada, alguns números incharam e outros encolheram a quase nada. Alimentada com essa bagunça torta, a camada seguinte não consegue se assentar, e o treino emperra. A solução é quase faxina: antes de repassar o sinal, enxágue-o de volta a uma escala sensata e padrão — a cada camada, a cada passo.

Camada após camada, a escala deriva — e nunca fica parada.

Por que a profundidade faz isso? Cada camada remodela os números, e pequenos vieses de escala não se cancelam — eles se acumulam. Uma característica fica mais forte a cada camada; outra some. Assim, as camadas seguintes vivem remirando um alvo que não para quieto. Como uma fotocópia de uma fotocópia: cada cópia desvia um tom mais escura ou mais clara, e cem cópias depois está ilegível. Em palavras simples: nada está quebrado — a deriva é só o que empilhar faz.

A solução: recentralizar em zero, reescalar a uma dispersão padrão.

\hat{x}_i = \dfrac{x_i - \mu}{\sqrt{\sigma^2 + \varepsilon}}

Então reinicie o sinal em cada camada. Dois movimentos: deslize todos os seus números para que a média fique em zero, depois comprima-os ou estique-os para que a dispersão seja um. Entre o que entrar — minúsculo, enorme, torto — sai na mesma forma arrumada. Como centralizar uma foto num paspatur: mova a imagem até ela ficar bem no centro, depois ajuste o tamanho para preencher o mesmo quadro toda vez. Em palavras simples: subtraia a média e depois divida pela dispersão.

E ele mede cada token apenas pelos seus próprios números.

\mu = \dfrac{1}{d}\sum_{i=1}^{d} x_i, \qquad \sigma^2 = \dfrac{1}{d}\sum_{i=1}^{d}(x_i - \mu)^2

Mas a média e a dispersão de quê? Eis a escolha silenciosa e crucial. Ele as toma ao longo das características daquele único token — sua própria lista privada de números — e de nada mais. Não dos outros exemplos que fluem ao lado dele. Como um cozinheiro equilibrando um único prato: você prova aquele prato e o ajusta sozinho, nunca tirando a média de tudo o que sai da cozinha. Cada token se torna comportado usando só o que já carrega dentro de si.

Depois, dois botões aprendidos podem esticá-la e deslocá-la de volta.

y_i = \gamma_i\,\hat{x}_i + \beta_i

Uma forma rígida de zero e um seria uma camisa de força — às vezes uma característica deve ser forte, ou estar descentralizada. Então dê à camada dois controles treináveis: um para reescalar, outro para redeslocar. Ela pode afinar a forma padrão — ou, se valer a pena, desfazer todo o reinício e recuperar o original. Como uma vela ajustada por dois cabos: um define o quanto ela enfuna, o outro o seu ângulo — juntos pegam qualquer vento, ou o deixam escapar reto. O reinício é um ponto de partida, não uma jaula.

Como nunca olha para os lados, nunca oscila.

Essa escolha de 'cada token por si' rende em silêncio. Como o reinício de um token nunca depende dos vizinhos, ele se comporta igual quer você rode um exemplo ou mil, um prompt curto ou longo, no treino ou em uso real. Como um fio de prumo: pendure-o junto a uma parede torta ou reta, em vendaval ou calmaria total, e ele aponta sempre a mesmíssima vertical verdadeira. Nada ao redor consegue tirá-lo do rumo certo.

Agora cada camada recebe um sinal limpo, pronto para subir.

Some tudo. Cada camada agora recebe sua entrada na mesma faixa bem-comportada, então seus gradientes ficam saudáveis e você pode empilhar cem camadas e treiná-las rápido — a própria paisagem de otimização fica mais suave. Como uma eclusa de canal: um barco não sobe uma encosta de água num só impulso, mas faça-o passar câmara após câmara, cada uma nivelando a água de novo, e ele galga uma altura impossível. Junto a um fio de atalho que deixa o sinal fluir direto, é por isso que a profundidade enfim virou um ajuste que dá para aumentar.

Dissemos a ele que tamanho não importa. Só a forma. Será?

Dê um passo atrás diante do que acabamos de fazer. Para domar a pilha profunda, declaramos que a pura magnitude de um sinal não significa nada — só o seu padrão, sua forma relativa, tem permissão de carregar sentido. Cada camada é forçada a falar no mesmo volume; a intensidade é enxaguada, devolvida só se o modelo a merecer. 🌱 Mas será que a intensidade é mesmo vazia? Quando algo é sentido de forma avassaladora, ou mal se sente, costumamos achar que isso importa. Que convicção lavamos ao tornar tudo neutro por padrão?