Como um modelo completa um padrão que viu uma só vez. · Source

Ele vê um padrão uma vez e depois o completa para você.

Mostre a ele “A depois B” uma única vez. Algumas palavras adiante ele vê “A depois ___” e acerta B — um padrão que aprendeu segundos atrás, neste mesmo texto. Como quem tricota: um olhar para as carreiras já na agulha e o próximo ponto está quase obrigado. Sem novo treino, sem fato guardado: apenas a sequência diante dele, continuada. Este é o pequeno motor do aprender em tempo real.

Primeiro truque: marcar cada posição com a que vem logo antes.

A^{\text{prev}}_{ij}\approx \mathbb{1}[\,j=i-1\,],\qquad h^{\text{prev}}_{i}\approx W_{OV}\,x_{i-1}

Para copiar o que veio depois de A, o modelo precisa primeiro que cada posição saiba o que veio logo antes dela. Então uma cabeça inicial faz um trabalho humilde: olhar exatamente um passo atrás e levar esse vizinho adiante. Como um agrimensor: cada nova estaca é fixada mirando de volta a anterior, de modo que cada ponto registra em silêncio o seu antecessor. Em palavras simples: ela atende apenas à casa logo atrás e carimba esse token sobre o atual.

Depois: encontrar onde este token apareceu antes.

A^{\text{ind}}_{ij}=\operatorname{softmax}_{j}\!\left(\frac{q_i^{\top}k_j}{\sqrt{d}}\right)\ \text{peaks where}\ t_{j-1}=t_i

Agora uma segunda cabeça sai à caça. Sua pergunta, na palavra em que está: “onde fui precedida por este mesmo token?” Graças àquelas marcas, ela trava no único ponto cujo antecessor combina — o lugar logo depois da última vez que este token apareceu. Como um cão de faro: levar um só cheiro, ignorar o campo inteiro e parar seco no único ponto que casa. Em palavras simples: ela mira o token que seguiu uma aparição anterior do atual.

Travado no alvo — agora copie esse token para a saída.

\hat{t}_{i+1}=t_{j^{\star}},\qquad j^{\star}=\arg\max_{j} A^{\text{ind}}_{ij},\qquad \operatorname{diag}\!\big(W_{U}W_{OV}W_{E}\big)\gg 0

Achou o ponto? A cabeça faz o óbvio: copia esse mesmo token direto para a sua previsão. O que ela olha, nisso vota — e então sai B, a palavra que seguiu A da vez anterior. Como um pantógrafo: um braço traça a forma-mestra e o outro talha uma cópia exata, fiel traço a traço. Em palavras simples: o circuito de cópia eleva o logit exatamente do token para o qual olhou.

Ele não memorizou palavras — só a regra “repita”.

Eis a maravilha silenciosa: o circuito não guarda A nem B. Ele copia uma relação — “o que seguiu da última vez, diga de novo” — e por isso dispara com símbolos que nunca viu, um par sem sentido inventado neste segundo, até diante de uma correspondência aproximada em vez de exata. Como uma máquina de waffle: despeje qualquer massa que ela nunca provou e sai o mesmo padrão. Os tokens são intercambiáveis; só a regra é fixa.

Ele não surge aos poucos. De repente, simplesmente está lá.

Observe-o se formar durante o treino e você não verá uma rampa lenta. Por um longo trecho — nada. Então, numa janela estreita, as duas cabeças se encaixam e o jeito do modelo para aprender a partir do prompt salta junto. Como um motor velho: você gira e gira a manivela, silêncio total, e de repente ele pega e funciona. A ressalva honesta: esse salto súbito é a maior parte dessa habilidade, não comprovadamente toda ela.

Esta pequena dupla sustenta o aprender em tempo real.

Dê um passo atrás e a escala assusta: uma fatia enorme de “ele captou a tarefa com poucos exemplos” repousa neste único circuito de copiar-a-continuação. O modelo não recorre a um saber guardado — ele roda um pequeno truque de correspondência sobre o texto à sua frente. Como uma pedra angular: uma modesta cunha de pedra, e por causa dela o arco inteiro se mantém. Tire-a, e o vão desaba.

🌱 Conhecer uma ideia nova é só achar onde ela já aconteceu antes?

Boa parte de entender uma instrução nova acaba sendo isto: achar a última vez que isso aconteceu e ecoar o que veio em seguida. Como um cata-vento: ele se assenta, de novo, no rumo que o vento já fixou. Se ler algo novo é sobretudo retraçar um precedente que acabamos de ver — isso é compreensão, ou uma memória muito veloz de um instante atrás?