Por que agarrar a melhor palavra agora pode custar a melhor frase. · Source

A melhor palavra agora pode custar a melhor frase.

Um modelo te dá as probabilidades da próxima palavra — mas uma frase são centenas de escolhas em sequência. Se a cada vez você agarra a palavra mais provável, vai se encurralando: um começo forte pode dar em um beco sem saída, enquanto um mais humilde abre algo bem melhor. Como a fila mais curta do caixa: você entra na que parece mais rápida agora e depois se arrasta enquanto a fila comprida voa. O melhor neste instante raramente é o melhor no todo.

A meta não é a melhor palavra — é a melhor <em>frase</em>.

A meta não é a melhor palavra — é a melhor frase.

P(y_{1:T}\mid x)=\prod_{t=1}^{T} p(y_t\mid y_{<t},x),\qquad \log P=\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x)

Pontue uma frase como um todo e a sua probabilidade é a de cada palavra multiplicada — em logaritmos, simplesmente somada. Uma palavra brilhante não salva um caminho que depois fica improvável. Como uma carga sobre uma corrente de elos: a corrente só aguenta se cada elo aguentar; um único elo fraco derruba todo o peso. O método guloso maximiza cada elo sozinho — nunca a corrente inteira.

Decodificação gulosa: pegue a palavra do topo e se comprometa.

y_t=\arg\max_{w\in V}\ p(w\mid y_{<t},x)

O método mais simples pega, a cada passo, a palavra de maior probabilidade — rápido, seguro e cego. Nunca olha adiante nem volta atrás. Como escrever a caneta: cada palavra é entintada no instante em que você a escolhe, então quando um começo confiante te encurrala três palavras depois, não há como apagar a escolha que te prendeu. Ele otimiza cada passo, não a frase.

E por que não testar todas as frases? Veja a contagem.

|V|^{T}\quad\text{(e.g. } 50000^{20}\approx 10^{94}\text{ sequences)}

Se o guloso é míope demais, por que não buscar entre todas as frases e ficar com a melhor? Porque a conta explode. Cada espaço pode conter qualquer uma de dezenas de milhares de palavras, então as candidatas se multiplicam como o vocabulário elevado ao comprimento. Como uma biblioteca com todos os livros possíveis: uma única resposta de vinte palavras já tem mais versões do que há átomos no universo observável. Você não consegue checar todas.

Busca em feixe: mantenha as melhores poucas vivas, não só uma.

s(y_{1:t})=\sum_{\tau=1}^{t}\log p(y_\tau\mid y_{<\tau},x),\qquad \mathcal{B}_t=\text{top-}B\ \text{of}\ \mathcal{B}_{t-1}\times V

O caminho do meio mantém vivas, a cada passo, as B melhores frases parciais. Estenda cada uma com todas as próximas palavras possíveis, pontue tudo e pode até sobrarem as melhores B — e repita. Como desbastar mudas: você planta muitas e, em cada etapa, arranca todas menos as poucas mais fortes, deixando as sobreviventes crescerem. Alargue o feixe para mais previsão; B = 1 vira o guloso de novo.

Um porém: ela secretamente prefere frases curtas.

s_{\text{norm}}(y)=\frac{1}{T^{\alpha}}\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x),\qquad 0\le\alpha\le 1

Cada palavra a mais multiplica outra probabilidade menor que um, então frases longas sempre pontuam mais baixo — crua, a busca em feixe encurta as respostas. A correção é dividir o total pelo comprimento, julgando a palavra média, não a soma. Como pontuar uma série longa: mais movimentos significam mais chances de oscilar, então você avalia por movimento, não contando os tropeços totais. Agora uma frase longa e honesta compete de forma justa.

O porém honesto: o mais provável não é o melhor.

\hat{y}=\arg\max_{y}\ p(y\mid x)\quad\text{vs}\quad y\sim p(\,\cdot\mid x)

Leve a busca longe o bastante e surge uma surpresa — a frase mais provável costuma ser sem graça, genérica, até repetitiva. Provável e bom são eixos diferentes. Como o bege mais seguro: a cor que não ofende ninguém é a que ninguém lembra. Por isso tarefas precisas buscam o mais provável, enquanto as abertas e criativas amostram uma surpresa — dois jeitos de ler as mesmas probabilidades.

🌱 A frase mais provável é, alguma vez, a melhor?

A busca caça as palavras mais prováveis; as palavras mais prováveis muitas vezes dão a resposta mais sem graça. O caminho mais seguro e o melhor caminho não são o mesmo — e um modelo que sempre percorre o mais provável talvez seja o menos propenso a dizer algo de que você vá lembrar. Se a frase mais provável é a mais esquecível, o que exatamente estávamos maximizando?