Comment une rangée de scores devient un choix assuré. · Source

La dernière étape : transformer une rangée de scores en une réponse honnête.

La dernière couche de tout modèle produit un score brut pour chaque option : plus grand veut dire 'plus probable', mais rien de plus. Avant de pouvoir répondre, il doit transformer cette rangée brouillonne en une vraie probabilité : laquelle, et avec quelle certitude. Ce seul geste, c'est le softmax.

Les scores bruts ne sont pas des probabilités. Deux règles le disent.

p_i \ge 0 \qquad \sum_i p_i = 1

Comme une récolte sans balance : chaque score a un vrai poids, mais aucune mesure commune ; rien ne dit quelle fraction du tout il représente. Une probabilité doit suivre deux règles : jamais négative, et toutes font la somme de un. Les scores bruts n'en respectent aucune. Il faut un seul geste qui corrige les deux.

Premier geste : élever <em>e</em> à chaque score.

Premier geste : élever e à chaque score.

\dfrac{e^{z_i}}{e^{z_j}} = e^{\,z_i - z_j}

Exponentier fait deux choses à la fois. Cela rend chaque score positif — même les négatifs — et c'est gourmand : cela étire les écarts. Comme une boule de neige sur une pente, une petite avance devient incontrôlable. Le rapport entre deux scores ne dépend que de l'écart qui les sépare — et chaque point de plus multiplie le poids d'un score par environ 2,7.

Deuxième geste : diviser chacune par le total.

\operatorname{softmax}(\mathbf{z})_i = \dfrac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

Additionne maintenant toutes les exponentielles et divise chacune par cette somme. D'un coup elles sont positives et elles font exactement un : une vraie distribution de probabilité. Comme une tarte partagée selon l'appétit : le tout est fixe, et le plus grand score s'empare tout simplement de la plus grosse part. Exponentier, puis normaliser — c'est ça, le softmax.

Pourquoi <em>soft</em> ? Parce qu'il ne réduit jamais les perdants au silence.

Pourquoi soft ? Parce qu'il ne réduit jamais les perdants au silence.

\dfrac{\partial p_i}{\partial z_j} = p_i\,(\delta_{ij} - p_j)

Un dur 'prends le plus grand' donne tout au gagnant et rien aux autres — et ne laisse aucune pente pour apprendre. Le softmax donne au gagnant la plus grande part tout en laissant parler les suivants, et il se courbe en douceur partout. Comme une photo-finish : le deuxième d'un souffle figure encore au tableau. Cette pente lisse (ici p est sa propre sortie) est ce qui laisse l'erreur refluer à travers lui pendant l'entraînement.

Il lit les écarts, pas les hauteurs.

\operatorname{softmax}(\mathbf{z} + c\mathbf{1})_i = \operatorname{softmax}(\mathbf{z})_i

Ajoute le même nombre à chaque score et les probabilités ne bougent pas d'un poil. Le softmax ne se soucie que des différences entre scores, jamais de leur taille absolue. Comme des sommets au-dessus des nuages : ce qui compte, c'est de combien l'un dépasse les autres, pas sa hauteur au-dessus de la mer lointaine. C'est aussi l'astuce discrète qui empêche le calcul de déborder — il suffit de soustraire d'abord le plus grand score.

Deux gestes : le rendre positif, le faire sommer à un.

Voilà tout le moteur. Exponentier pour rendre chaque score positif et creuser l'écart ; normaliser pour transformer la rangée en parts de un. Comme une guirlande d'ampoules sur un même circuit : chaque option tire un peu de courant, la favorite brille le plus, et ensemble elles éclairent exactement un tout. C'est l'étape finale du modèle : transformer une intuition privée en une probabilité publique et comparable.

🌱 Il peut toujours répondre. Il ne peut jamais dire 'je ne sais pas.'

Le softmax renvoie toujours une distribution complète : chaque option reçoit une part, et les parts font toujours la somme de un. Même l'ignorance totale ressort comme une répartition nette et assurée. Il n'a aucun moyen de te tendre une réponse vide, aucune case pour 'aucune idée.' 🌱 Quand un système est conçu pour devoir toujours répondre, son assurance équivaut-elle à savoir — ou n'est-elle que la forme qu'on lui a imposée ?