Cómo una fila de puntuaciones se convierte en una elección segura. · Source

El último paso: convertir una fila de puntuaciones en una respuesta honesta.

La última capa de todo modelo produce una puntuación cruda para cada opción: más alta significa 'más probable', pero nada más. Antes de poder responder, tiene que convertir esa fila desordenada en una probabilidad real: cuál, y con cuánta certeza. Ese único gesto es el softmax.

Las puntuaciones crudas no son probabilidades. Dos reglas lo dicen.

p_i \ge 0 \qquad \sum_i p_i = 1

Como una cosecha sin báscula: cada puntuación tiene peso real, pero no hay medida común; nada dice qué fracción del todo es cada una. Una probabilidad debe cumplir dos reglas: nunca negativa, y todas suman uno. Las puntuaciones crudas no cumplen ninguna. Hace falta un solo gesto que arregle las dos.

Primer gesto: elevar <em>e</em> a cada puntuación.

Primer gesto: elevar e a cada puntuación.

\dfrac{e^{z_i}}{e^{z_j}} = e^{\,z_i - z_j}

Exponenciar hace dos cosas a la vez. Vuelve cada puntuación positiva —incluso las negativas— y es codicioso: ensancha las distancias. Como una bola de nieve cuesta abajo, una pequeña ventaja se vuelve incontenible. La razón entre dos cualesquiera depende solo de la distancia entre ellas, y cada punto de más multiplica el peso de una puntuación por unos 2,7.

Segundo gesto: dividir cada una por el total.

\operatorname{softmax}(\mathbf{z})_i = \dfrac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

Ahora suma todas las exponenciales y divide cada una por esa suma. De pronto son positivas y suman exactamente uno: una verdadera distribución de probabilidad. Como un pastel repartido por el apetito: el todo es fijo, y la puntuación mayor se lleva sin más la porción mayor. Exponenciar y luego normalizar: eso es el softmax.

¿Por qué <em>soft</em>? Porque nunca silencia a los perdedores.

¿Por qué soft? Porque nunca silencia a los perdedores.

\dfrac{\partial p_i}{\partial z_j} = p_i\,(\delta_{ij} - p_j)

Un duro 'elige la mayor' le da todo al ganador y nada al resto, y no deja ninguna pendiente de la que aprender. El softmax le da al ganador la mayor parte pero deja hablar a los segundos, y se curva con suavidad en todas partes. Como un final de foto: el segundo por un palmo sigue constando. Esa pendiente suave (aquí p es su propia salida) es lo que deja que la culpa fluya hacia atrás mientras el modelo entrena.

Lee las distancias, no las alturas.

\operatorname{softmax}(\mathbf{z} + c\mathbf{1})_i = \operatorname{softmax}(\mathbf{z})_i

Suma el mismo número a cada puntuación y las probabilidades no se mueven en absoluto. Al softmax solo le importan las diferencias entre puntuaciones, nunca su tamaño absoluto. Como cumbres sobre las nubes: lo que cuenta es cuánto se eleva una sobre las demás, no su altura sobre el mar lejano. Es también el truco silencioso que evita que las cuentas se desborden: basta restar primero la puntuación mayor.

Dos gestos: hacerlo positivo, hacer que sume uno.

Ese es todo el motor. Exponenciar para volver positiva cada puntuación y ampliar la ventaja; normalizar para convertir la fila en partes de uno. Como una ristra de bombillas en un mismo circuito: cada opción toma algo de corriente, la favorita brilla más, y juntas iluminan exactamente un todo. Es el paso final del modelo: convertir una corazonada privada en una probabilidad pública y comparable.

🌱 Siempre puede responder. Nunca puede decir 'no lo sé.'

El softmax siempre devuelve una distribución completa: cada opción recibe una porción, y las porciones siempre suman uno. Hasta la ignorancia total sale como un reparto pulcro y seguro. No tiene manera de darte una respuesta vacía, ni una casilla para 'ni idea.' 🌱 Cuando un sistema se construye para que siempre deba responder, ¿su seguridad es lo mismo que saber, o solo la forma que le impusimos?