Como um modelo pequeno herda a habilidade de um gigante. · Source

Um modelo pequeno pode fazer o trabalho de um gigante — se aprender com o gigante.

O melhor modelo costuma ser grande demais para rodar onde importa — lento demais, caro demais. Então o encolhemos. Mas o truque é este: o pequeno não aprende com os dados. Aprende com o próprio gigante. Como o mestre pesa uma escolha ensina mais do que qualquer gabarito.

O gabarito é um professor grosseiro.

\mathbf{y} = \mathbf{e}_c,\qquad y_i = \mathbb{1}[\,i = c\,] \in \{0,1\}

Um rótulo simples diz uma palavra — 'cachorro' — e marca todo o resto como igualmente errado: lobo e relógio levam o mesmo zero. Em poucas palavras, o alvo é 1 na resposta certa e 0 em todas as outras — sem espaço para dizer 'quase.' Como uma separadora de moedas: guarda uma e varre o resto para uma única cuba de rejeito, o quase-igual e o estranho jogados juntos.

O gigante não diz 'cachorro.' Diz o quanto está certo.

p_i = \dfrac{e^{z_i}}{\sum_j e^{z_j}}

Pergunte ao gigante e você recebe uma distribuição: 92% cachorro, 7% lobo, 1% carro. Esse formato é um mapa oculto — mostra que cachorro fica perto de lobo e longe de carro. São as respostas erradas que carregam a lição. Como um jogo de ferraduras: a que encaixa no pino conta, mas você também vê quais chegaram perto e quais foram longe. Em poucas palavras, os escores brutos z viram todo um conjunto de probabilidades, não um único vencedor.

Aumente o calor para ouvir os sussurros.

p_i^{(T)} = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

Essa pista de 1% é fraca demais para aprender com ela. Então suavize a distribuição: divida cada escore por uma temperatura T antes de formar as probabilidades. Suba T acima de 1 e os palpites tênues sobem até ficarem audíveis. Como aquecer uma taça de conhaque: um pouco de calor revela os aromas delicados que você nunca sentiria no frio. Em poucas palavras, um T maior achata a curva e deixa as probabilidades pequenas importarem.

Agora o pequeno copia a curva inteira.

\mathcal{L}_{\text{soft}} = -\sum_i p_i^{(T)} \log q_i^{(T)} = D_{\mathrm{KL}}\!\left(p^{(T)} \,\|\, q^{(T)}\right) + H\!\left(p^{(T)}\right)

Treine o estudante para casar com a distribuição suavizada do professor — não a resposta seca, mas o formato inteiro, ponto a ponto. Como fazer uma cópia de chave: um bruto é desbastado para seguir cada saliência da original, entalhe por entalhe. Em poucas palavras, o palpite suavizado q do estudante é puxado até o p do professor; como a parte do professor é fixa, fechar a lacuna é só reduzir a divergência entre as duas curvas.

Confie no mestre — mas mantenha um pé na verdade.

\mathcal{L} = \alpha\,T^2\,\mathcal{L}_{\text{soft}} + (1-\alpha)\,\mathcal{L}_{\text{hard}}

Copie o gigante de forma servil demais e você herda também os erros dele. Então misture: peso α para a lição suave, (1−α) para a resposta real e dura. Uma sutileza — multiplique a parte suave por T², porque suavizar encolheu o puxão dela exatamente nessa medida. Como escalar atado a um guia e a uma âncora: estique-se para quem vai à frente, mas siga preso à rocha firme embaixo.

Uma fração do tamanho. Quase toda a habilidade.

C_{\text{token}} \approx 2P \;\Rightarrow\; \dfrac{C_{\text{student}}}{C_{\text{teacher}}} \approx \dfrac{P_{\text{student}}}{P_{\text{teacher}}} \ll 1

O resultado é um modelo que você realmente consegue rodar — um décimo do peso, um décimo do custo por palavra — carregando quase a habilidade do gigante. Não por ter visto mais dados, mas por ter herdado como o gigante pesa o mundo. Como um alambique: uma tina inteira de mosto reduzida a uma garrafinha — bem menos volume, o mesmo caráter, concentrado. Em poucas palavras, o custo por palavra acompanha o número de parâmetros P, então um décimo dos parâmetros custa cerca de um décimo.

Ele aprendeu as dúvidas, não só as respostas.

🌱 O pequeno aprendeu melhor com as hesitações do gigante — os 7% lobo, o 1% carro — tudo o que uma única resposta confiante deixa de fora. Então, o que qualquer mestre realmente sabe que nunca cabe numa só resposta? E se a lição foi a dúvida o tempo todo, o que uma resposta limpa e certa silenciosamente esconde?