Como uma linha de pontuações vira uma escolha confiante. · Source

O último passo: transformar uma linha de pontuações em uma resposta honesta.

A última camada de todo modelo produz uma pontuação bruta para cada opção — maior significa 'mais provável', mas nada além disso. Antes de responder, ela precisa transformar essa linha bagunçada em uma probabilidade de verdade: qual, e com quanta certeza. Esse único gesto é o softmax.

Pontuações brutas não são probabilidades. Duas regras dizem isso.

p_i \ge 0 \qquad \sum_i p_i = 1

Como uma colheita sem balança: cada pontuação tem peso real, mas não há medida comum — nada diz que fração do todo cada uma é. Uma probabilidade deve seguir duas regras: nunca negativa, e todas somam um. As pontuações brutas não cumprem nenhuma. Precisamos de um só gesto que conserte as duas.

Primeiro gesto: elevar <em>e</em> a cada pontuação.

Primeiro gesto: elevar e a cada pontuação.

\dfrac{e^{z_i}}{e^{z_j}} = e^{\,z_i - z_j}

Exponenciar faz duas coisas de uma vez. Torna cada pontuação positiva — até as negativas — e é gananciosa: estica as distâncias. Como uma bola de neve ladeira abaixo, uma pequena vantagem vira incontrolável. A razão entre duas quaisquer depende só da distância entre elas — e cada ponto a mais multiplica o peso de uma pontuação por cerca de 2,7.

Segundo gesto: dividir cada uma pelo total.

\operatorname{softmax}(\mathbf{z})_i = \dfrac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

Agora some todas as exponenciais e divida cada uma por essa soma. De repente elas são positivas e somam exatamente um — uma verdadeira distribuição de probabilidade. Como uma torta repartida pelo apetite: o todo é fixo, e a maior pontuação simplesmente fica com a maior fatia. Exponenciar e depois normalizar — isso é o softmax.

Por que <em>soft</em>? Porque nunca silencia os perdedores.

Por que soft? Porque nunca silencia os perdedores.

\dfrac{\partial p_i}{\partial z_j} = p_i\,(\delta_{ij} - p_j)

Um duro 'pegue o maior' dá tudo ao vencedor e nada ao resto — e não deixa nenhuma inclinação com que aprender. O softmax dá ao vencedor a maior parte mas ainda deixa os segundos colocados falarem, e se curva suavemente em toda parte. Como uma chegada de foto: o segundo por um triz ainda consta na súmula. Essa inclinação suave (aqui p é a própria saída) é o que deixa a culpa fluir de volta por ele enquanto o modelo treina.

Ele lê as distâncias, não as alturas.

\operatorname{softmax}(\mathbf{z} + c\mathbf{1})_i = \operatorname{softmax}(\mathbf{z})_i

Some o mesmo número a cada pontuação e as probabilidades não se mexem nem um pouco. Ao softmax só importam as diferenças entre as pontuações, nunca o tamanho absoluto delas. Como picos acima das nuvens: o que conta é quanto um se ergue acima dos demais, não sua altura sobre o mar distante. É também o truque silencioso que evita o estouro das contas — basta subtrair primeiro a maior pontuação.

Dois gestos: torná-lo positivo, fazê-lo somar um.

Esse é o motor inteiro. Exponenciar para tornar cada pontuação positiva e ampliar a vantagem; normalizar para transformar a linha em frações de um. Como um cordão de lâmpadas num mesmo circuito: cada opção puxa um pouco de corrente, a favorita brilha mais, e juntas acendem exatamente um todo. É o passo final do modelo — transformar um palpite privado em uma probabilidade pública e comparável.

🌱 Ele sempre pode responder. Nunca pode dizer 'não sei.'

O softmax sempre devolve uma distribuição completa — cada opção recebe uma fatia, e as fatias sempre somam um. Até a ignorância total sai como um reparto arrumado e confiante. Não há como ele te entregar uma resposta vazia, nenhum espaço para 'nem ideia.' 🌱 Quando um sistema é construído para sempre ter de responder, a confiança dele é o mesmo que saber — ou só o formato que impusemos a ele?