Por qué quedarte con la mejor palabra ahora puede costarte la mejor frase. · Source

La mejor palabra ahora puede costarte la mejor frase.

Un modelo te da las probabilidades de la siguiente palabra, pero una frase son cientos de decisiones seguidas. Si cada vez te quedas con la palabra más probable, te acorralas: un comienzo fuerte puede no tener salida, mientras que uno más humilde abre algo mucho mejor. Como la cola más corta del supermercado: te pones en la que parece más rápida ahora y luego avanzas a rastras mientras la cola larga vuela. Lo mejor en este instante rara vez es lo mejor en conjunto.

La meta no es la mejor palabra, sino la mejor <em>frase</em>.

La meta no es la mejor palabra, sino la mejor frase.

P(y_{1:T}\mid x)=\prod_{t=1}^{T} p(y_t\mid y_{<t},x),\qquad \log P=\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x)

Puntúa una frase como un todo y su probabilidad es la de cada palabra multiplicada — en logaritmos, simplemente sumada. Una palabra brillante no puede salvar un camino que luego se vuelve improbable. Como una carga sobre una cadena de eslabones: la cadena aguanta solo si lo hace cada eslabón; un único eslabón débil deja caer todo el peso. La codicia maximiza cada eslabón por separado, nunca la cadena entera.

Decodificación voraz: toma la palabra más alta y comprométete.

y_t=\arg\max_{w\in V}\ p(w\mid y_{<t},x)

El método más simple toma en cada paso la palabra de mayor probabilidad: rápido, seguro y ciego. Nunca mira adelante ni se retracta de nada. Como escribir con bolígrafo: cada palabra queda entintada en el instante en que la eliges, así que cuando un comienzo seguro te acorrala tres palabras después, no hay forma de borrar la decisión que te atrapó. Optimiza cada paso, no la frase.

¿Y por qué no probar todas las frases? Mira cuántas son.

|V|^{T}\quad\text{(e.g. } 50000^{20}\approx 10^{94}\text{ sequences)}

Si lo voraz es demasiado miope, ¿por qué no buscar entre todas las frases y quedarse con la mejor? Porque el número estalla. Cada hueco puede contener cualquiera de decenas de miles de palabras, así que las candidatas se multiplican como el vocabulario elevado a la longitud. Como una biblioteca con todos los libros posibles: una sola respuesta de veinte palabras ya tiene más versiones que átomos hay en el universo observable. No puedes revisarlas todas.

Búsqueda en haz: mantén vivas las mejores pocas, no solo una.

s(y_{1:t})=\sum_{\tau=1}^{t}\log p(y_\tau\mid y_{<\tau},x),\qquad \mathcal{B}_t=\text{top-}B\ \text{of}\ \mathcal{B}_{t-1}\times V

El camino intermedio mantiene vivas en cada paso las B mejores frases parciales. Extiende cada una con todas las palabras posibles siguientes, puntúalas todas y poda hasta dejar las mejores B — y repite. Como aclarar plántulas: siembras muchas y en cada etapa arrancas todas salvo las pocas más fuertes, dejando crecer a las supervivientes. Amplía el haz para más visión; B = 1 vuelve a ser lo voraz.

Una trampa: en secreto prefiere las frases cortas.

s_{\text{norm}}(y)=\frac{1}{T^{\alpha}}\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x),\qquad 0\le\alpha\le 1

Cada palabra extra multiplica otra probabilidad menor que uno, así que las frases largas siempre puntúan más bajo — en crudo, la búsqueda en haz recorta sus respuestas. El arreglo es dividir el total por la longitud, juzgando la palabra media y no la suma. Como puntuar una rutina larga: más movimientos son más ocasiones de tambalearse, así que calificas por movimiento, no contando los traspiés totales. Ahora una frase larga y honesta compite con justicia.

La trampa honesta: lo más probable no es lo mejor.

\hat{y}=\arg\max_{y}\ p(y\mid x)\quad\text{vs}\quad y\sim p(\,\cdot\mid x)

Lleva la búsqueda lo bastante lejos y aparece una sorpresa: la frase más probable suele ser plana, genérica, incluso repetitiva. Probable y bueno son ejes distintos. Como el beige más seguro: el color que no ofende a nadie es el que nadie recuerda. Por eso las tareas precisas buscan lo más probable, mientras que las abiertas y creativas muestrean una sorpresa — dos formas de leer las mismas probabilidades.

🌱 ¿Es la frase más probable alguna vez la mejor?

La búsqueda persigue las palabras más probables; las palabras más probables suelen dar la respuesta más sosa. El camino más seguro y el mejor camino no son el mismo — y un modelo que siempre recorre el más probable quizá sea el menos propenso a decir algo que recuerdes. Si la frase más probable es la más olvidable, ¿qué estábamos maximizando exactamente?