Como um modelo aprende: minimizando a própria surpresa. · Source

Treinar é uma só ordem insistente: surpreenda-se menos da próxima vez.

Um modelo aprende de uma torrente de texto, mas a lição nunca muda: quando a próxima palavra chega, deixe-se pegar menos desprevenido do que na vez anterior. Sem regras de gramática, sem fatos ditados — apenas uma contagem contínua de surpresa, reduzida palavra a palavra. Como um goleiro: toda a arte está em ler o lance cedo, para que o chute nunca seja um susto.

Ele nunca diz uma palavra. Ele aposta em todas de uma vez.

Peça a próxima palavra e o modelo não responde — ele espalha sua confiança por todo o vocabulário, um número em cada opção. Certo-ou-errado não consegue avaliar isso; ele se protegeu entre milhares de palpites. Você precisa de uma nota que premie uma aposta alta na verdade e puna uma aposta alta num fracasso. Como um punhado de dardos: você lança no alvo inteiro de uma vez, mas só onde o centro cai decide sua pontuação.

A surpresa tem uma fórmula: o quão raro foi, em logaritmo.

\text{surprise}(x) = -\log p(x)

Dê a um evento a probabilidade p; quando ele acontece, sua surpresa é −log p. Dê algo como quase certo e ele chega — surpresa quase nula. Aposte contra e mesmo assim acontece — a surpresa dispara. Como um raio em céu limpo: quanto mais tranquilo você estava de que seguiria sereno, mais forte o baque quando ele cai.

Sua perda é só a surpresa pela palavra que veio.

\mathcal{L} = -\log q_{y}

Eis a jogada: de todas essas apostas, só uma palavra de fato vem em seguida. Sua punição é a surpresa por aquela palavra — −log da probabilidade que você deu a ela. Deposite muita confiança ali: perda mínima. Deixe-a à míngua: perda enorme. Todo outro palpite é ignorado quando a conta chega. Como um pedágio: você pode sonhar com todas as estradas, mas só paga naquela por onde a verdade passa.

Por que 'entropia cruzada': a surpresa medida contra a verdade.

H(p, q) = -\sum_{i} p_i \log q_i

Faça a média dessa surpresa sobre tudo o que de fato acontece, ponderando cada resultado pela frequência com que ele realmente ocorre, e você obtém a entropia cruzada. A punição de uma só palavra é sorte; a nota real é a média no longo prazo. Como uma longa exposição: um único quadro não diz nada, mas deixe o obturador aberto e as faixas mais movimentadas brilham mais — o padrão verdadeiro se inscreve sozinho.

Baixar a surpresa e elevar a verossimilhança são um só movimento.

\arg\min_{\theta}\; -\frac{1}{N}\sum_{n} \log q_{\theta}(y_n) \;=\; \arg\max_{\theta}\; \prod_{n} q_{\theta}(y_n)

Multiplique milhares de probabilidades minúsculas e o resultado some para zero — inútil. Tome logaritmos e o produto vira uma soma de surpresas que basta adicionar. E a inversão surge sozinha: tornar os dados prováveis é tornar a surpresa total pequena — um só cume, dois nomes. Como a luz que se apaga com a profundidade: cada metro multiplica o escurecimento rumo ao preto, mas contar os metros sobe de forma constante — o logaritmo é a medida honesta.

Este único número é todo o objetivo — e ele conta escolhas.

\text{perplexity} = e^{H} = \exp\!\left(-\frac{1}{N}\sum_{n} \log q_{\theta}(y_n)\right)

Cada gradiente, cada empurrãozinho em um bilhão de pesos, persegue para baixo este único escalar: a surpresa média diante da verdade. Eleve-o como expoente e você obtém a perplexidade — entre quantas palavras o modelo de fato hesita. Uma perda de ln 20 significa que ele está tão perdido quanto ao escolher ao acaso entre 20. Menor perda, menos opções vivas, mente mais afiada. Como um rio entrelaçado: quanto menos canais a água puder tomar, mais firme o seu curso.

🌱 Uma mente treinada só para prever — pode de fato surpreender?

🌱 Cada passo do treinamento premia uma só coisa: não se surpreender com o que já foi escrito — e assim o modelo se torna o eco mais suave do passado. Mas as ideias que valem a pena são as que ninguém viu chegar. Pode uma mente feita para minimizar a surpresa criar algum dia a espécie que se mostra certa — ou apenas terminará sempre as nossas frases?