Como uma rede profunda treina rápido — julgando cada valor diante do seu lote. · Source

Um truque fez redes profundas treinarem muito mais rápido: julgar cada valor pelo seu lote.

Treine uma rede profunda e os números que correm por ela oscilam descontroladamente — então era preciso avançar em passos minúsculos e cuidadosos. A normalização em lote resolveu isso com uma jogada estranha: julgar cada valor não sozinho, mas diante dos outros do seu lote. A mesma rede de repente treinou várias vezes mais rápido, e torres muito mais profundas se tornaram possíveis.

Cada camada aprende de um alvo que não fica parado.

Uma rede profunda é uma pilha: cada camada lê o que a camada de baixo envia. Mas o treino empurra essas camadas inferiores a cada passo — então a distribuição de números que cada camada vê não para de derivar. Como assentar tijolos sobre concreto fresco: a cada fiada que você assenta, a fundação se desloca de novo, e você passa o tempo renivelando em vez de construir.

A solução: pontuar cada valor diante de todo o seu lote.

\mu_B = \frac{1}{m}\sum_{i=1}^{m} x_i, \qquad \sigma_B^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i-\mu_B)^2, \qquad \hat{x}_i = \frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\varepsilon}}

Então fixe os números. Para cada característica, reúna seus valores em todo o minilote, subtraia a média do lote e divida pela dispersão. Agora cada característica chega centrada em zero com uma largura padrão — sem mais oscilações selvagens. Como avaliar na curva: uma nota bruta diz pouco até você vê-la diante de todos que fizeram a mesma prova.

Mas forçar zero e um joga fora sinal de verdade.

y_i = \gamma\,\hat{x}_i + \beta

Achatar cada característica à mesma forma pode apagar informação de que a rede precisa. Então dê a ela dois botões aprendidos por característica: um para esticar a largura de volta, outro para deslizar o centro — ela pode até cancelar o passo inteiro se isso servir à tarefa. Como um soprador de vidro: primeiro derreta tudo em uma bola uniforme e incandescente, depois molde essa base limpa exatamente na forma que você quer.

Agora o destino de cada valor depende dos seus colegas de lote.

\hat{\mu} \leftarrow (1-\rho)\,\hat{\mu} + \rho\,\mu_B, \qquad \hat{\sigma}^2 \leftarrow (1-\rho)\,\hat{\sigma}^2 + \rho\,\sigma_B^2, \qquad y = \gamma\,\frac{x-\hat{\mu}}{\sqrt{\hat{\sigma}^2+\varepsilon}} + \beta

Há um preço: como a média vem do lote, a saída de um exemplo agora depende de quem mais veio junto. E no teste você pode ter só uma entrada — nenhum lote para tirar média. A solução: durante o treino, mantenha em silêncio uma média móvel da média e da dispersão, e use esses números congelados quando estiver sozinho. Como um padeiro experiente: ao longo de toda uma temporada de fornadas você aprende as manias do forno, e assim consegue assar um único pão de memória.

Por que funciona não é a história que contamos no começo.

O argumento original era que ela trava essas distribuições à deriva — o concreto movediço de antes. Trabalhos posteriores rebateram: a razão mais profunda é que normalizar suaviza a paisagem de perda, de modo que os gradientes ficam mansos e passos grandes e ousados não explodem. Como aplainar uma tábua empenada: raspe as cristas que obrigavam a passadas minúsculas e cautelosas, e cada passada pode correr longa e confiante.

Uma ideia, duas gêmeas — e por que os transformers escolheram a outra.

Então a receita é simples: achatar para uma base limpa e deixar a rede remodelá-la. Só isso tornou treináveis redes de visão muito profundas. Mas apoiar-se no lote é o ponto fraco — lotes minúsculos ou desbalanceados envenenam a média. Largue o lote e normalize em vez disso cada exemplo ao longo das suas próprias características, e você obtém a sua gêmea, a normalização por camada — aquela sobre a qual os transformers rodam.

🌱 Um valor julgado pela sua companhia — isso é sobre o valor, ou sobre a sala?

Durante o treino, esse mesmo valor é normalizado de modo diferente conforme quais exemplos calham de dividir o seu lote; o seu significado se curva com a companhia que tem. Elogiamos um modelo por pesar cada entrada pelos seus próprios méritos — e no entanto aqui, por um tempo, o destino de uma entrada dependeu da multidão com que ela chegou. Quando o contexto afia um julgamento, e quando ele em silêncio o substitui?