Como pontuações cruas viram fatias de um pote comum. · Source

Um pote de prêmio e um jeito estranho de dividi-lo

Noite de concurso na vila: cinco cozinheiros, cinco panelas fumegantes, um pote de ferro cheio de moedas para repartir. Sem júri este ano — a torcida da multidão vai cortar o prêmio em fatias. À meia-noite, o cozinheiro que foi só um pouco melhor fica com quase tudo, e ainda assim o ensopado queimado ganha duas moedas. Que regra a rua seguia em segredo?

Pontuações cruas dão fatias péssimas

Peça aos provadores para dar nota a cada prato e você recebe números em qualquer escala — este ensopado um três, aquele abaixo de zero. Não dá para entregar a um cozinheiro uma fatia negativa, e fatias que se ignoram não somam um pote inteiro. Uma divisão justa exige cada parte positiva, todas somando um. A torcida, descobre-se, faz essa conversão sozinha.

A torcida se alimenta da torcida

Veja a rua trabalhar. Todo cozinheiro começa com poucos fiéis, e os recém-chegados derivam para a barraca que já está mais barulhenta — a torcida se compõe sobre si mesma a noite toda. Um prato um degrau melhor não junta um degrau a mais de barulho; sua multidão segue dobrando. Suba uma pontuação um passo e o rugido não soma — ele multiplica. E o pote vai simplesmente seguir o rugido.

Sua fatia: seu rugido sobre o rugido da rua inteira

p_j = \frac{e^{z_j}}{\sum_k e^{z_k}}

Aqui está a regra inteira da vila em uma linha. Infle cada pontuação crua exponencialmente — essa é a multidão que se compõe — e depois divida pelo rugido total da rua. Leia sem mistério: cada fatia sai positiva, e juntas formam exatamente um pote. Agora veja o que esse pequeno exponencial faz com uma brecha minúscula entre dois cozinheiros.

Um fiapo de talento, uma avalanche de moedas

Compare dois cozinheiros quaisquer e a divisão só se importa com uma coisa: a brecha entre as pontuações. Um degrau de distância, e uma fatia é quase o triplo da outra; três degraus, e é vinte para um. Sob um exponencial, chegar perto não paga — o prato quase melhor ainda perde feio. O que torna o destino do ensopado queimado ainda mais estranho.

Ninguém nunca sai com zero

A torcida do ensopado queimado é um sussurro — mas sussurro não é silêncio, e um exponencial nunca toca o zero. Todo cozinheiro sai com algo. Essa regra de divisão é o softmax: pontuações cruas — os logits — viram partes positivas de um todo. Um modelo de linguagem fecha cada palpite assim, com a certeza espalhada entre todas as próximas palavras possíveis, nada descartado. Resta uma pergunta à vila.

🌱 Quem deveria segurar o botão da torcida?

Imagine que a vila pudesse regular a ferocidade com que a torcida se compõe. Amorteça-a, e as fatias se achatam rumo ao igual — todo cozinheiro come, nenhum é de fato honrado. Afie-a, e o vencedor leva quase tudo — ousado, e frágil. Todo concurso, todo mercado, todo modelo escolhendo sua próxima palavra vive em algum ponto desse botão. Onde você o colocaria?