Cómo las puntuaciones crudas se vuelven porciones de un bote común. · Source

Un bote de premio y una forma extraña de repartirlo

Noche de concurso en la aldea: cinco cocineros, cinco ollas humeantes, un puchero de hierro con monedas para repartir. Este año no hay jurado: los vítores de la multitud cortarán el premio en porciones. A medianoche, el cocinero que fue solo un poco mejor se queda casi todo, y aun así el guiso quemado gana dos monedas. ¿Qué regla seguía en secreto la calle?

Las puntuaciones crudas hacen porciones pésimas

Pide a los catadores que califiquen cada plato y obtendrás números en cualquier escala: este guiso un tres, aquel bajo cero. No puedes darle a un cocinero una porción negativa, y porciones que se ignoran entre sí no suman un puchero entero. Un reparto justo exige cada parte positiva y que todas sumen uno. Los vítores, resulta, hacen esa conversión por sí solos.

Los vítores se alimentan de vítores

Mira cómo trabaja la calle. Cada cocinero empieza con unos pocos fieles, y los recién llegados van hacia el puesto que ya suena más fuerte: los vítores se componen sobre sí mismos toda la noche. Un plato un punto mejor no reúne un punto más de ruido; su multitud sigue doblándose. Sube una puntuación un escalón y el clamor no suma: multiplica. Y el bote simplemente seguirá al clamor.

Tu porción: tu clamor entre el clamor de toda la calle

p_j = \frac{e^{z_j}}{\sum_k e^{z_k}}

Aquí está la regla entera de la aldea en una línea. Infla cada puntuación cruda exponencialmente — esa es la multitud que se compone — y luego divide entre el clamor total de la calle. Léelo en claro: cada porción sale positiva, y juntas forman exactamente un bote. Ahora mira lo que ese pequeño exponencial le hace a una brecha diminuta entre dos cocineros.

Una pizca de talento, una avalancha de monedas

Compara a dos cocineros cualesquiera y al reparto solo le importa una cosa: la brecha entre sus puntuaciones. A un escalón de distancia, una porción es casi el triple de la otra; a tres escalones, es veinte a uno. Bajo un exponencial, quedarse cerca no paga: el plato casi mejor aún pierde de lejos. Lo que vuelve aún más extraño el destino del guiso quemado.

Nadie se va nunca con cero

Los vítores del guiso quemado son un susurro, pero un susurro no es silencio, y un exponencial nunca toca el cero. Cada cocinero se va con algo. Esta regla de reparto es softmax: puntuaciones crudas — logits — vueltas partes positivas de un todo. Un modelo de lenguaje cierra así cada conjetura, con la certeza repartida entre todas las palabras siguientes posibles, nada descartado. A la aldea le queda una pregunta.

🌱 ¿Quién debería tener el dial de los vítores?

Imagina que la aldea pudiera ajustar con qué fiereza se componen los vítores. Amortíguala, y las porciones se aplanan hacia lo igual: todos los cocineros comen, ninguno es de verdad honrado. Afílala, y el ganador se lleva casi todo: audaz, y frágil. Todo concurso, todo mercado, todo modelo eligiendo su próxima palabra vive en algún punto de ese dial. ¿Dónde lo pondrías tú?