Como um modelo pequeno rascunha e um grande apenas confere — as mesmas palavras, muito mais rápido. · Source

O modelo grande escreve uma palavra por vez. E se não precisasse?

Um modelo gigante é lento por uma única razão: escreve uma palavra por vez, e cada uma é uma viagem inteira por bilhões de parâmetros. Como um mestre que passa a tinta sobre um esboço a lápis: deixe uma mão rápida rascunhar as próximas palavras, e o mestre apenas confirma os bons traços e corrige o resto. A mesma linha final — desenhada numa fração do tempo.

Por que tão lento? Cada palavra precisa esperar a anterior.

\text{latency}\approx n\times t_{\text{pass}}

O gigante não consegue se adiantar. Para escrever a décima palavra ele precisa da nona, e a nona precisava da oitava — um único fio, sem pular etapas. Como assentar uma ponte de pranchas: só dá para pregar a próxima prancha em pé sobre a anterior. Então n palavras são n viagens inteiras pelo gigante, estritamente uma após a outra — e o chip passa quase toda a viagem apenas esperando.

Primeiro passo: deixe um modelo pequeno e rápido adivinhar as próximas palavras.

Traga um modelo peso-pena — bem menor, bem mais rápido, quase sempre certo. Deixe-o adivinhar o próximo punhado de palavras num piscar de olhos. Como um ciclista em fuga: um corredor leve dispara à frente do pelotão e anuncia a estrada. Os palpites são baratos e às vezes errados — tudo bem. São apenas uma proposta, à espera de conferência.

O truque: o gigante confere todos os palpites numa única passada.

T_{\text{check}}(\gamma{+}1)\approx T_{\text{pass}}(1)

Eis o que faz valer a pena. Uma única passada do gigante pode pontuar uma fileira inteira de posições de uma vez — os γ palpites mais a sua própria próxima palavra — quase pelo preço de pontuar uma. Como um salva-vidas na torre: uma varredura do olhar abrange toda a praia lotada. Por que quase de graça? O lento é içar os pesos do gigante para o chip, não a aritmética — então umas poucas palavras a mais pegam carona por quase nada.

A regra: mantenha cada palpite enquanto o gigante concordar.

\text{keep } x\sim q \ \text{ with probability } \ \min\!\left(1,\ \frac{p(x)}{q(x)}\right)

Percorra os palpites da esquerda para a direita. Seja p a probabilidade do gigante para uma palavra e q a do rascunho. Fique com o palpite de imediato quando o gigante gosta dele ao menos tanto (p ≥ q); quando gosta menos, fique com ele só p/q das vezes. O primeiro que falha — pare e descarte o resto. Como um zíper: os dentes encaixam suavemente um a um e então travam de vez no primeiro dente fora de linha.

A mágica: um palpite rejeitado é corrigido, não apenas descartado.

p'(x)=\dfrac{\big(p(x)-q(x)\big)_+}{\sum_{x'}\big(p(x')-q(x')\big)_+},\qquad \min\big(p,q\big)+\big(p-q\big)_+=p

Quando um palpite é rejeitado, o gigante não trava — ele amostra um substituto exatamente da diferença entre o que ele queria e o que o rascunho ofereceu. Some essa correção e cai um pequeno milagre: cada palavra emitida fica distribuída exatamente como o gigante sozinho teria produzido. Como a água num tubo em U: complete o lado baixo e o nível assenta bem na marca verdadeira. Mais rápido e, ainda assim, comprovadamente sem perdas — não uma aproximação.

A recompensa: várias palavras por passada única do gigante.

\mathbb{E}[\#\text{tokens}]=\frac{1-\alpha^{\,\gamma+1}}{1-\alpha}

Conte os ganhos. Se o rascunho propõe γ palavras e acerta uma fração α das vezes, uma passada do gigante rende, em média, esta quantidade de palavras. Quando o modelo pequeno costuma acertar, você colhe perto de γ+1 palavras por conferência; quando costuma errar, simplesmente volta a uma — nunca pior. Como fazer uma pedra chata quicar na água: um único arremesso toca a superfície vez após vez. Uma passada, várias palavras.

🌱 Duas mentes traçaram o caminho. Onde aconteceu a decisão?

O adivinhador veloz e o gigante lento, juntos, produzem exatamente as palavras que o gigante teria escrito sozinho. Então, qual dos dois pensava? Como duas trilhas que se fundem em uma: o caminho que você percorre é único e firme — e, no entanto, foram dois a traçá-lo. Se um palpite rápido e um aceno atento dão a mesma resposta que a mente atenta sozinha, onde, em tudo isso, esteve a escolha — no salto, ou apenas na conferência?