Por que o ensinamos a nunca ter certeza absoluta. · Source

Nós o treinamos para deixar uma fresta de dúvida — de propósito.

Mostre a um modelo um gabarito marcado como 100% certo, 0% todo o resto, e ele aprende a ser um sabe-tudo: seguro de cada resposta, até das erradas. Então fazemos algo curioso: borramos o gabarito. Dizemos a ele que a resposta certa é quase certa, nunca totalmente certa. O truque é o label smoothing, e essa pitada de dúvida deixa o modelo mais humilde e mais forte.

O gabarito de sempre é brutalmente tudo ou nada.

y_i = \begin{cases} 1 & i = c \\ 0 & i \neq c \end{cases} \qquad p_c \to 1 \ \text{only as}\ z_c - z_j \to \infty

O alvo de treino é one-hot: um único 1 na resposta certa, um 0 seco em todas as outras. Como um alvo só com a mosca: o ouro conta, e um anel a um fio de distância pontua igual a um erro total. Para o softmax dar um 1 de verdade, a pontuação vencedora tem de subir para sempre — uma ordem que o modelo nunca termina de cumprir.

Perseguir a certeza total nunca termina.

\frac{\partial \mathcal{L}}{\partial z_c} = p_c - 1 < 0 \quad \text{for all } p_c < 1

Force por aquele 1 perfeito e a matemática não larga. A inclinação sobre a pontuação da resposta certa continua negativa até chegar a 1 — então a pontuação só sobe, e sua vantagem sobre as rivais se alarga sem teto. Como subir uma escada sem último degrau: você já está alto o bastante para ver tudo, e ainda assim 'tenha certeza' faz você subir no ar, à toa.

A correção: dar uma migalha da resposta a todos.

y^{\text{LS}}_i = (1-\alpha)\, y_i + \frac{\alpha}{K}

Então suavize o gabarito. Mantenha quase todo o peso na resposta certa e depois espalhe uma fatia fina e igual — α/K para cada — por todas as K respostas. Como cortar um bolo: o convidado de honra fica com a fatia grande, mas todos à mesa ganham uma lasca, então nenhuma resposta fica no zero seco. O botão α define o quanto você abre mão.

Agora a perda puxa para dois lados ao mesmo tempo.

\mathcal{L}_{\text{LS}} = (1-\alpha)\,(-\log p_c) \;+\; \alpha\left(-\frac{1}{K}\sum_{i} \log p_i\right)

O alvo suavizado divide a perda em dois puxões. Um ainda arrasta o modelo para a resposta certa; o outro o puxa de leve para o uniforme — um palpite chato, que não sabe de nada. Como uma pipa na linha: o vento a leva para cima e para longe, sua mão mantém uma tensão firme de volta, e só os dois juntos a mantêm no ar sem se rasgar.

A certeza enfim tem onde descansar.

\Delta^{\star} = \ln\!\frac{(1-\alpha)K + \alpha}{\alpha} \quad (\text{finite, not } \infty)

Agora o melhor que o modelo consegue não é o infinito — é uma diferença fixa. O alvo suavizado fica mais contente quando a confiança na resposta certa se assenta a uma altura finita, bem abaixo de 1. Como uma bola que rola até parar numa tigela: o alvo antigo era uma descida sem fim e sem fundo; este enfim lhe dá um ponto baixo onde assentar. Para K=1000 respostas e α=0.1, essa diferença máxima é de cerca de 9.1 — e nunca mais que isso.

Mas o presente da dúvida custa um pouco de nuance.

Aqui está o porém. Aquela lasca igual trata todo erro do mesmo jeito — confundir cat com dog não pontua mais perto do que confundir cat com truck. Como neve fresca sobre um chão acidentado: ela acalma a certeza dura e serrilhada em algo uniforme e suave, mas também soterra as pequenas cristas e sulcos que distinguiam um erro do outro. Você ganha calibração; abre mão de um pouco dessa estrutura fina.

🌱 Proibimos a certeza. Isso é sabedoria, ou boas maneiras?

Nunca mostramos a ele o que duvidar. Apenas reescrevemos o gabarito para que nunca possa ter certeza plena de nada — uma fresta sempre retida à mão, como uma lua impedida de algum dia ficar cheia. Então, quando ele pondera, isso é o despertar de uma humildade real — uma mente tateando a borda do que sabe — ou apenas uma cortesia que costuramos de fora?