Comment un petit modèle hérite du talent d'un géant. · Source

Un petit modèle peut faire le travail d'un géant — s'il apprend du géant.

Le meilleur modèle est souvent trop gros pour tourner là où il le faut — trop lent, trop coûteux. Alors on le réduit. Mais voici l'astuce : le petit n'apprend pas des données. Il apprend du géant lui-même. Comment le maître pèse un choix en apprend plus que n'importe quel corrigé.

Le corrigé est un professeur grossier.

\mathbf{y} = \mathbf{e}_c,\qquad y_i = \mathbb{1}[\,i = c\,] \in \{0,1\}

Une étiquette toute simple dit un mot — 'chien' — et juge tout le reste également faux : loup et montre reçoivent le même zéro. Autrement dit, la cible vaut 1 à la bonne réponse et 0 partout ailleurs — aucune place pour dire 'presque.' Comme un trieur de pièces : il garde l'une et balaie les autres dans un seul bac de rebut, le quasi-identique et l'intrus jetés ensemble.

Le géant ne dit pas 'chien.' Il dit à quel point il est sûr.

p_i = \dfrac{e^{z_i}}{\sum_j e^{z_j}}

Interroge le géant et tu obtiens un éventail : 92% chien, 7% loup, 1% voiture. Cette forme est une carte cachée — elle montre que chien est proche de loup et loin de voiture. Ce sont les mauvaises réponses qui portent la leçon. Comme un lancer de fers à cheval : le coup qui encercle compte, mais tu vois aussi lesquels ont frôlé et lesquels sont partis loin. Autrement dit, les scores bruts z deviennent tout un jeu de probabilités, pas un seul gagnant.

Monte la chaleur pour entendre les murmures.

p_i^{(T)} = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

Cet indice à 1% est trop ténu pour qu'on en apprenne quoi que ce soit. Alors adoucis l'éventail : divise chaque score par une température T avant de former les probabilités. Pousse T au-delà de 1 et les hypothèses faibles deviennent audibles. Comme réchauffer un verre de cognac : un peu de chaleur révèle les arômes délicats qu'on ne sentirait jamais à froid. Autrement dit, un T plus grand aplatit la courbe et laisse compter les petites probabilités.

Maintenant le petit copie toute la courbe.

\mathcal{L}_{\text{soft}} = -\sum_i p_i^{(T)} \log q_i^{(T)} = D_{\mathrm{KL}}\!\left(p^{(T)} \,\|\, q^{(T)}\right) + H\!\left(p^{(T)}\right)

Entraîne l'élève à épouser l'éventail adouci du maître — non la réponse nue, mais la forme entière, point par point. Comme tailler un double de clé : on lime une ébauche pour suivre chaque crête de l'originale, cran pour cran. Autrement dit, l'hypothèse adoucie q de l'élève est ramenée sur le p du maître ; la part du maître étant fixe, combler l'écart revient simplement à réduire la divergence entre les deux courbes.

Fie-toi au maître — mais garde un pied sur la vérité.

\mathcal{L} = \alpha\,T^2\,\mathcal{L}_{\text{soft}} + (1-\alpha)\,\mathcal{L}_{\text{hard}}

Copie le géant trop servilement et tu hérites aussi de ses erreurs. Alors mélange : pondère α vers la leçon douce, (1−α) vers la vraie réponse, dure. Une subtilité — multiplie la part douce par T², car l'adoucissement a réduit sa force d'exactement autant. Comme grimper encordé à un meneur et à un ancrage : tends-toi vers celui qui te précède, mais reste assuré au rocher solide en dessous.

$Une fraction de la taille. Presque tout le talent.$

Une fraction de la taille. Presque tout le talent.

C_{\text{token}} \approx 2P \;\Rightarrow\; \dfrac{C_{\text{student}}}{C_{\text{teacher}}} \approx \dfrac{P_{\text{student}}}{P_{\text{teacher}}} \ll 1

Le résultat est un modèle qu'on peut vraiment faire tourner — un dixième du poids, un dixième du coût par mot — portant presque le talent du géant. Non pour avoir vu plus de données, mais pour avoir hérité de la façon dont le géant pèse le monde. Comme un alambic : une cuve entière de moût réduite à une petite bouteille — bien moins de volume, le même caractère, concentré. Autrement dit, le coût par mot suit le nombre de paramètres P : un dixième des paramètres coûte environ un dixième.

Il a appris les doutes, pas seulement les réponses.

🌱 Le petit a le mieux appris des hésitations du géant — les 7% loup, le 1% voiture — tout ce qu'une seule réponse assurée laisse de côté. Alors que sait vraiment un maître qui ne tient jamais dans une seule réponse ? Et si la leçon était le doute depuis le début, que cache en silence une réponse nette et certaine ?