El único dial entre lo seguro y lo sorprendente. · Source

El modelo no elige la siguiente palabra: lanza dados cargados.

De softmax sale una tabla completa de probabilidades para la siguiente palabra. El modelo no toma sin más la de arriba: tira los dados, eligiendo una palabra en proporción a su probabilidad. La temperatura es la única perilla que decide cuán cargados están esos dados: bájala y juega a lo seguro, súbela y se vuelve atrevido.

Siempre seguro es robótico. Siempre al azar es disparate.

Toma siempre la palabra más probable y el modelo se vuelve rígido: la misma respuesta cada vez, frases atrapadas en bucles. Muestrea directamente de las probabilidades crudas y divaga, soltando de vez en cuando una palabra salida de la nada. Como una línea de montaje atascada: un solo ajuste estampa piezas idénticas para siempre. Queremos una perilla entre lo muerto y lo desquiciado.

El dial: divide cada puntuación por <em>T</em> antes de softmax.

El dial: divide cada puntuación por T antes de softmax.

p_i = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

Antes de que las puntuaciones se vuelvan probabilidades, divide cada una por un número T. Una T pequeña (menor que 1) estira las distancias: la favorita se dispara. Una T grande las aplana: las menos probables tienen una oportunidad real. Con T = 1, nada cambia. Como una olla en el fuego: a fuego lento apenas se agita y lo más pesado se asienta; a borbotones todo se revuelve a la vez.

Ponlo a cero y se congela; al infinito, puro caos.

\lim_{T\to 0^{+}} p_i = \mathbb{1}\!\left[\,i=\operatorname*{argmax}_j z_j\,\right] \qquad \lim_{T\to\infty} p_i = \frac{1}{n}

Lleva el dial a sus topes. Cuando T→0, la puntuación más alta se traga todas las probabilidades: siempre la única palabra más probable, la misma respuesta fija cada vez (esto es lo que significa 'temperatura 0'). Cuando T→∞, cada palabra se aplana a la misma probabilidad: un lanzamiento de moneda a ciegas sobre todo el vocabulario. Como una canica en un cuenco: si la dejas, siempre rueda al único punto más bajo; agítalo lo bastante fuerte y podría acabar en cualquier sitio.

Aun domada, acecha una larga cola de palabras malas.

Elige una temperatura razonable y queda un problema: un vocabulario tiene decenas de miles de palabras, y las miles casi imposibles guardan cada una una migaja de probabilidad. Las migajas suman. Muestrea el tiempo suficiente y tarde o temprano sacarás una que descarrila toda la frase. Como una nube de mosquitos: ninguno importa por sí solo, pero el enjambre es tan inmenso que, más pronto o más tarde, algo pica.

Así que corta la cola: quédate con los pocos que cubren la masa.

S=\operatorname*{arg\,min}_{S'}\Big\{\,|S'| : \textstyle\sum_{i\in S'} p_i \ge p\,\Big\} \qquad \hat p_i=\frac{p_i}{\sum_{j\in S} p_j}

Ordena las palabras de más a menos probable y quédate solo con el grupo más pequeño cuyas probabilidades ya sumen, digamos, 0.9, y descarta el resto antes de tirar. Reajusta el peso de los que quedan para que vuelvan a sumar uno. (Quédate con un número fijo en su lugar y eso es top-k.) Como cribar oro: haz girar la arena sin valor sobre el borde, conserva las pocas pepitas pesadas y trabaja solo con ellas.

Un modelo, un dial: empleado prudente o poeta salvaje.

Esa es toda la receta. La temperatura deforma las probabilidades: nítidas y seguras, o planas y atrevidas. El recorte poda el disparate de la cola. Luego el modelo tira. Nada cambió dentro de la red; solo giraste una perilla. Como el horno de un soplador de vidrio: la misma gota incandescente, y solo el calor decide si cuaja en algo rígido y exacto o fluye en algo salvaje.

🌱 ¿Hay una palabra siguiente correcta, o solo una temperatura que elegiste?

🌱 Si cada palabra no es más que una tirada de dados con pesos, esto es lo inquietante: quizá no haya una única palabra siguiente correcta esperando a ser hallada, sino solo la que tu temperatura elegida resultó favorecer. Gira el dial y sale una frase distinta, igual de fluida. Entonces, cuando el modelo suena seguro de sí mismo, ¿te dice lo que es verdad, o solo lo que era probable al calor que escogiste?