Por qué le enseñamos a no estar nunca perfectamente seguro. · Source

Lo entrenamos para que deje una pizca de duda — a propósito.

Muéstrale a un modelo una clave de respuestas marcada como 100% correcto, 0% todo lo demás, y aprende a ser un sabelotodo: seguro de cada respuesta, incluso de las equivocadas. Así que hacemos algo curioso: difuminamos la clave. Le decimos que la respuesta correcta es casi segura, nunca segura del todo. El truco es el label smoothing, y esa pizca de duda vuelve al modelo más humilde y más fuerte.

La clave habitual es brutalmente de todo o nada.

y_i = \begin{cases} 1 & i = c \\ 0 & i \neq c \end{cases} \qquad p_c \to 1 \ \text{only as}\ z_c - z_j \to \infty

El objetivo de entrenamiento es one-hot: un único 1 en la respuesta correcta, un 0 liso en todas las demás. Como una diana con solo el centro: el oro cuenta, y un anillo a un pelo de distancia puntúa igual que un fallo total. Para que softmax dé un 1 de verdad, la puntuación ganadora debe trepar sin fin: una orden que el modelo nunca termina de cumplir.

Perseguir la certeza total no termina nunca.

\frac{\partial \mathcal{L}}{\partial z_c} = p_c - 1 < 0 \quad \text{for all } p_c < 1

Empuja por ese 1 perfecto y la matemática no suelta. La pendiente sobre la puntuación de la respuesta correcta sigue siendo negativa hasta llegar a 1, así que la puntuación no para de subir, y su ventaja sobre las rivales crece sin techo. Como subir una escalera sin último peldaño: ya estás bastante alto para verlo todo, y aun así 'ten certeza' te hace seguir trepando al aire, para nada.

El arreglo: repartir una migaja de la respuesta a todos.

y^{\text{LS}}_i = (1-\alpha)\, y_i + \frac{\alpha}{K}

Así que suaviza la clave. Deja casi todo el peso en la respuesta correcta y luego reparte una porción fina e igual —α/K para cada una— entre todas las K respuestas. Como cortar un pastel: el invitado de honor se lleva la porción grande, pero todos en la mesa reciben una rebanadita, así ninguna respuesta queda en cero pelado. El dial α fija cuánto regalas.

Ahora la pérdida tira en dos sentidos a la vez.

\mathcal{L}_{\text{LS}} = (1-\alpha)\,(-\log p_c) \;+\; \alpha\left(-\frac{1}{K}\sum_{i} \log p_i\right)

El objetivo suavizado parte la pérdida en dos tirones. Uno sigue arrastrando al modelo hacia la respuesta correcta; el otro lo empuja con suavidad hacia lo parejo: una conjetura plana que no sabe nada. Como una cometa con su cuerda: el viento la sube y la aleja, tu mano mantiene una tensión firme de vuelta, y solo ambas a la vez la mantienen en vuelo sin que se desgarre.

La certeza por fin tiene dónde descansar.

\Delta^{\star} = \ln\!\frac{(1-\alpha)K + \alpha}{\alpha} \quad (\text{finite, not } \infty)

Ahora lo mejor que puede hacer el modelo no es el infinito: es una brecha fija. El objetivo suavizado está más contento cuando la confianza en la respuesta correcta se asienta a una altura finita, cómodamente por debajo de 1. Como una bola que rueda hasta parar en un cuenco: el objetivo antiguo era una bajada sin fin y sin fondo; este por fin le da un punto bajo donde asentarse. Para K=1000 respuestas y α=0.1, esa brecha máxima es de unos 9.1, y nunca más.

Pero el regalo de la duda cuesta algo de matiz.

Aquí está el truco. Esa rebanadita igual trata a toda respuesta equivocada por igual: confundir cat con dog no puntúa más cerca que confundir cat con truck. Como nieve fresca sobre un terreno irregular: calma esa certeza dura y dentada hasta volverla pareja y suave, pero también sepulta los pequeños lomos y surcos que distinguían una respuesta equivocada de otra. Ganas calibración; cedes un poco de esa estructura fina.

🌱 Prohibimos la certeza. ¿Es eso sabiduría, o modales?

Nunca le mostramos qué cosas dudar. Solo reescribimos la clave de respuestas para que no pueda estar del todo segura de nada: una pizca siempre retenida a mano, como una luna a la que no se deja llegar a llena. Así que cuando se cubre las espaldas, ¿es el amanecer de una humildad real —una mente que palpa el borde de lo que sabe— o solo una cortesía que le cosimos desde fuera?