Dois jeitos de aprender uma língua — e no que cada um se torna. · Source

Dois jeitos de aprender uma língua — e duas mentes diferentes.

Dê a um modelo uma montanha de texto e ele aprende brincando de adivinhar. Mas há dois jogos. Um esconde o que vem a seguir e pede que ele preveja adiante. O outro apaga uma palavra no meio e pede que ele preencha a lacuna pelos dois lados. Mesmo texto, mesma máquina — mas o jogo que você escolhe decide no que o modelo poderá se tornar.

Jogo um: adivinhe a próxima palavra, vendo só o passado.

\log p_\theta(x_{1:T}) = \sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t})

Como um solista de jazz: cada nota é escolhida entre as já tocadas, com o próximo compasso ainda por escrever. Um modelo que prevê a próxima palavra lê da esquerda para a direita e aposta no que vem — sem nunca espiar adiante. A matemática é só a regra da cadeia: a probabilidade de uma frase inteira é o produto acumulado de 'dado tudo isto até agora, o que vem depois?'

Jogo dois: apague uma palavra e reconstrua-a pelos dois lados.

\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in M} \log p_\theta\!\left(x_i \mid x_{\setminus M}\right)

Como um restaurador de mosaicos: falta uma peça, e você lê o padrão que flui de cada lado para saber exatamente qual encaixa. Um modelo de preencher lacunas esconde palavras espalhadas e reconstrói cada uma a partir do texto à sua esquerda e direita ao mesmo tempo. Ele nunca prevê adiante — raciocina para dentro, de todo o contorno da lacuna.

A única diferença real: o que cada palavra pode olhar.

A = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d}} + M\right),\quad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j > i \end{cases}

Como os antolhos de um cavalo de carroça: não mudam a estrada, apenas escondem tudo menos o que já passou. Os dois jogos rodam exatamente a mesma atenção — um apenas pendura uma cortina sobre o futuro. Some −∞ a cada pontuação que aponta adiante e o softmax esmaga seu peso a zero; o passado fica iluminado, o futuro escurece. Levante a cortina, e cada palavra vê todas as outras.

Mas o jogo de preencher paga um preço em retorno.

\text{targets per sequence} = \begin{cases} N & \text{predict-next} \\ \rho N,\ \rho \approx 0.15 & \text{fill-in} \end{cases}

Como peneirar ouro: você revolve uma bateia inteira de cascalho para ficar só com algumas pepitas brilhantes. O jogo de prever avalia cada palavra — N palavras, N lições. O de preencher avalia só as poucas que escondeu, cerca de uma palavra em sete, enquanto o resto é apenas contexto que ele lê mas no qual nunca é testado. Uma visão dos dois lados mais rica, mas retorno mais escasso — então precisa de muito mais passagens para absorver o mesmo texto.

Só o jogo para a frente consegue de fato escrever.

x_t \sim p_\theta(x_t \mid x_{<t}), \quad t = 1, 2, 3, \dots

Como um soprador de vidro esticando vidro derretido: a forma só pode crescer a partir da ponta incandescente que avança — não dá para acrescentar no meio do que já endureceu. Para gerar, o modelo amostra a próxima palavra a partir de 'o que há até agora', funde-a ali e pergunta de novo. O modelo de preencher não tem ponta que avança: ele sempre supôs que os dois lados já existiam, então não tem um ponto honesto para começar do nada e crescer.

O objetivo é o destino.

Mesmo transformer, mesmos dados — só o jogo muda, e saem duas mentes diferentes. Prever o próximo cria um falante: um modelo que gera, aquele com quem você conversa. Preencher cria um leitor: um modelo que abarca uma passagem inteira de uma vez, que move a busca e a classificação. O mais estranho? Levado a escala suficiente, o falante voltado só para a frente também aprendeu, em silêncio, a compreender.

🌱 Uma raiz, dois caminhos — ou duas mentes?

Um modelo aprendeu a falar olhando sempre só para a frente. O outro aprendeu a compreender olhando para os dois lados ao mesmo tempo. Partimos a linguagem em dois jogos e ganhamos dois dons diferentes. Então qual deles pensa — a voz que sempre avança, ou o olhar que abarca o todo num relance? E poderia um único jogo fazer crescer os dois?