Le seul cadran entre sûr et surprenant. · Source

Le modèle ne choisit pas le mot suivant : il lance des dés pipés.

De softmax sort une table complète de probabilités pour le mot suivant. Le modèle ne prend pas simplement le premier : il lance les dés, tirant un mot en proportion de sa probabilité. La température est le seul bouton qui règle à quel point ces dés sont pipés : baissez-le et il joue la sécurité, montez-le et il devient audacieux.

Toujours prudent, c'est robotique. Toujours au hasard, c'est absurde.

Prenez toujours le mot le plus probable et le modèle se fige : la même réponse à chaque fois, des phrases prises dans des boucles. Échantillonnez directement les probabilités brutes et il divague, lâchant de temps en temps un mot sorti de nulle part. Comme une chaîne de montage bloquée : un seul réglage estampe des pièces identiques à l'infini. On veut un bouton entre le mort et le délirant.

Le cadran : divisez chaque score par <em>T</em> avant softmax.

Le cadran : divisez chaque score par T avant softmax.

p_i = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

Avant que les scores ne deviennent des probabilités, divisez chacun par un nombre T. Un petit T (inférieur à 1) étire les écarts : le favori s'envole. Un grand T les aplatit : les outsiders ont une vraie chance. À T = 1, rien ne change. Comme une casserole sur le feu : à feu doux, ça frémit à peine et le plus lourd se dépose ; à gros bouillons, tout s'agite d'un coup.

Mettez-le à zéro et il gèle ; à l'infini, c'est le chaos.

\lim_{T\to 0^{+}} p_i = \mathbb{1}\!\left[\,i=\operatorname*{argmax}_j z_j\,\right] \qquad \lim_{T\to\infty} p_i = \frac{1}{n}

Poussez le cadran à fond. Quand T→0, le score le plus haut avale toutes les probabilités : toujours le seul mot le plus probable, la même réponse figée à chaque fois (c'est ce que veut dire « température 0 »). Quand T→∞, chaque mot s'aplatit à la même probabilité : un tirage à pile ou face aveugle sur tout le vocabulaire. Comme une bille dans un bol : laissée seule, elle roule toujours vers l'unique point le plus bas ; secouez assez fort et elle peut finir n'importe où.

Même domptée, une longue traîne de mauvais mots rôde.

Choisissez une température raisonnable et un problème demeure : un vocabulaire compte des dizaines de milliers de mots, et les milliers de mots quasi impossibles gardent chacun une miette de probabilité. Les miettes s'additionnent. Échantillonnez assez longtemps et vous finirez par en tirer un qui fait dérailler toute la phrase. Comme un nuage de moucherons : aucun ne compte à lui seul, mais l'essaim est si vaste que, tôt ou tard, quelque chose pique.

Alors coupez la traîne : gardez le peu qui couvre la masse.

S=\operatorname*{arg\,min}_{S'}\Big\{\,|S'| : \textstyle\sum_{i\in S'} p_i \ge p\,\Big\} \qquad \hat p_i=\frac{p_i}{\sum_{j\in S} p_j}

Triez les mots du plus probable au moins probable, puis ne gardez que le plus petit groupe dont les probabilités atteignent déjà, disons, 0.9, et jetez le reste avant de lancer. Repondérez les survivants pour qu'ils somment de nouveau à un. (Gardez plutôt un nombre fixe, et c'est le top-k.) Comme orpailler : faites tourner le sable sans valeur par-dessus le bord, gardez les rares paillettes lourdes, et ne travaillez qu'avec celles-là.

Un modèle, un cadran : commis prudent ou poète sauvage.

Voilà toute la recette. La température déforme les probabilités : nettes et sûres, ou plates et audacieuses. Le seuil élague l'absurde au bout de la traîne. Puis le modèle lance. Rien n'a changé à l'intérieur du réseau ; vous avez seulement tourné un bouton. Comme le four d'un souffleur de verre : la même goutte incandescente, et la chaleur seule décide si elle prend en quelque chose de rigide et exact ou coule en quelque chose de sauvage.

🌱 Existe-t-il un mot suivant juste, ou seulement une température choisie ?

🌱 Si chaque mot n'est qu'un coup de dés pondéré, voici ce qui dérange : il n'existe peut-être pas un seul mot suivant juste à découvrir, seulement celui que votre température choisie a favorisé. Tournez le cadran et une autre phrase, tout aussi fluide, en sort. Alors, quand le modèle a l'air sûr de lui, vous dit-il ce qui est vrai, ou seulement ce qui était probable à la chaleur que vous avez choisie ?