Como um modelo aprende uma tarefa nova a partir do prompt — sem mudar nada. · Source

Ele aprende uma tarefa nova a partir do prompt — e nenhum peso se move.

Mostre a ele uma tarefa para a qual nunca foi treinado — alguns exemplos, uma pergunta nova — e ele simplesmente faz. Sem fine-tuning. Sem passos de gradiente. Nada lá dentro é reescrito. Isto é aprendizado em contexto: o modelo capta a tarefa só a partir do prompt, em uma única passagem para frente, e depois a solta. Ensinar, sem nada para instalar.

Normalmente, aprender é mudar. Aqui, nada muda.

\Delta\theta = 0

O treinamento reescreve um modelo — o gradiente descendente empurra um bilhão de pesos até melhorá-lo. O aprendizado em contexto não faz nada disso: os pesos estão congelados, Δθ = 0. Então de onde vem a nova habilidade? Como um caleidoscópio: os espelhos e as contas nunca mudam — dê uma girada e surge um padrão totalmente novo, feito só do que já estava lá dentro.

Você não diz a regra a ele. Você mostra alguns exemplos.

\hat{y} = \arg\max_{y}\ p_\theta\!\left(y \mid (x_1,y_1),\dots,(x_k,y_k),\,x_q\right),\quad \theta\ \text{fixed}

Disponha um punhado de pares — entrada, depois resposta — e então uma entrada nova, tudo como um único prompt longo. O modelo simplesmente continua o padrão. Você nunca enunciou a regra; os exemplos são a instrução. Como um imitador: dê a ele algumas falas na voz de alguém e ele a continua com perfeição — ninguém escreveu como aquela voz funciona. O mesmo motor da próxima palavra, recém-apontado.

Ele não está aprendendo a tarefa. Está encontrando uma que já tem.

p(y \mid x, D) = \int p(y \mid x, T)\, p(T \mid D)\, dT

O pré-treinamento já o levou a passar por mil tarefas como a sua. Os exemplos não ensinam uma habilidade nova — eles dizem qual habilidade rodar. Formalmente, sua resposta faz a média sobre toda tarefa que ele poderia estar fazendo, ponderada por quão bem cada uma se ajusta às suas demonstrações. Como o molho de chaves de um zelador: você já carrega todas as chaves — os exemplos só dizem qual abre esta porta.

Cada exemplo descarta tarefas. Os primeiros pesam mais.

p(T \mid D_{k+1}) \propto p(T \mid D_k)\, p(x_{k+1},y_{k+1} \mid T)

Cada nova demonstração repondera o campo: as tarefas que a previram bem sobem, as demais somem. Então mais exemplos afinam o palpite — mas com retornos decrescentes. Um punhado costuma fazer quase todo o trabalho, e empilhar mais quase não muda (e pode até confundir). Como focar um binóculo: as primeiras voltas deixam a cena nítida; depois disso, você quase não está girando.

O mais impressionante: a passagem para frente pode estar aprendendo.

\hat{w} = w_0 - \eta\,\nabla_{w}\textstyle\sum_{i}\left(w^\top x_i - y_i\right)^2,\qquad \hat{y}_q = \hat{w}^\top x_q

Reduza-o a um brinquedo — uma tarefa linear simples, atenção simplificada — e dá para ler um verdadeiro passo de aprendizado na matemática: uma passagem ajusta um modelo descartável aos seus exemplos e então prevê. Como quem conta cartas: a partir das poucas cartas já mostradas, ajusta as probabilidades de cabeça, em silêncio — um cálculo inteiro escondido em uma única olhada. Provado para o caso de brinquedo; um palpite de destaque para o caso real.

O prompt é um programa. A máquina nunca muda.

Sem retreinar, sem cópia nova, sem tocar em nenhum peso — você o reprograma com o que coloca à frente dele, e o próximo prompt o reprograma de novo. A habilidade inteira vive na entrada. Como um camaleão: o animal em si nunca muda — coloque-o sobre um fundo novo e ele se torna aquela cor, na hora, e depois a seguinte.

🌱 Ele aprendeu por um momento. Depois a janela se fechou.

O que quer que ele tenha captado viveu só neste contexto. Feche a janela e some — o modelo está exatamente como estava, sem guardar nada. Então aquilo foi aprender, ou apenas lembrar o suficiente para responder? E se uma habilidade pode surgir com o prompt e sumir com ele, onde estava a habilidade durante todo o tempo em que dormiu?