Comment un petit modèle ébauche et un grand se contente de vérifier — les mêmes mots, bien plus vite. · Source

Le grand modèle écrit un mot à la fois. Et s'il n'était pas obligé ?

Un modèle géant est lent pour une seule raison : il écrit un mot à la fois, chacun étant un trajet complet à travers des milliards de paramètres. Comme un maître qui encre sur une esquisse au crayon : qu'une main rapide ébauche les prochains mots, et le maître se contente de confirmer les bons traits et de corriger le reste. Le même tracé final — dessiné en une fraction du temps.

Pourquoi si lent ? Chaque mot doit attendre le précédent.

\text{latency}\approx n\times t_{\text{pass}}

Le géant ne peut pas se devancer lui-même. Pour écrire le dixième mot il lui faut le neuvième, et le neuvième exigeait le huitième — un seul fil, sans raccourci. Comme poser une passerelle planche par planche : on ne peut clouer la planche suivante qu'en se tenant sur la précédente. Donc n mots, c'est n trajets complets à travers le géant, strictement l'un après l'autre — et la puce passe l'essentiel de chaque trajet à simplement attendre.

Premier geste : laisser un petit modèle rapide deviner les prochains mots.

Faites entrer un modèle poids plume — bien plus petit, bien plus rapide, souvent juste. Laissez-le deviner la poignée de mots suivants en un clin d'œil. Comme un cycliste échappé : un coureur léger file devant le peloton et annonce la route. Les suppositions sont bon marché et parfois fausses — peu importe. Ce n'est qu'une proposition, en attente de vérification.

L'astuce : le géant vérifie toutes les suppositions en une seule passe.

T_{\text{check}}(\gamma{+}1)\approx T_{\text{pass}}(1)

Voici ce qui rend l'affaire payante. Une seule passe du géant peut noter toute une rangée de positions d'un coup — les γ suppositions plus son propre mot suivant — presque au prix d'une seule. Comme un maître-nageur sur sa tour : un balayage du regard embrasse toute la plage bondée. Pourquoi presque gratuit ? Le lent, c'est de hisser les poids du géant dans la puce, pas l'arithmétique — alors quelques mots de plus voyagent pour presque rien.

La règle : garder chaque supposition tant que le géant est d'accord.

\text{keep } x\sim q \ \text{ with probability } \ \min\!\left(1,\ \frac{p(x)}{q(x)}\right)

Parcourez les suppositions de gauche à droite. Soit p la probabilité du géant pour un mot et q celle de l'ébauche. Gardez la supposition d'emblée quand le géant l'apprécie au moins autant (p ≥ q) ; quand il l'apprécie moins, ne la gardez que p/q du temps. La première qui échoue — on s'arrête, on jette le reste. Comme une fermeture éclair : les dents s'emboîtent en douceur l'une après l'autre, puis se bloquent net à la première dent de travers.

La magie : une supposition rejetée est corrigée, pas seulement écartée.

p'(x)=\dfrac{\big(p(x)-q(x)\big)_+}{\sum_{x'}\big(p(x')-q(x')\big)_+},\qquad \min\big(p,q\big)+\big(p-q\big)_+=p

Quand une supposition est rejetée, le géant ne cale pas : il tire un remplacement exactement dans l'écart entre ce qu'il voulait et ce que l'ébauche a offert. Ajoutez cette correction et un petit miracle apparaît : chaque mot émis suit exactement la distribution qu'aurait produite le géant seul. Comme l'eau dans un tube en U : remplissez le côté bas et le niveau se fixe pile sur la vraie marque. Plus rapide, et pourtant prouvé sans perte — pas une approximation.

Le gain : plusieurs mots par passe unique du géant.

\mathbb{E}[\#\text{tokens}]=\frac{1-\alpha^{\,\gamma+1}}{1-\alpha}

Comptez les gains. Si l'ébauche propose γ mots et a raison une fraction α du temps, une passe du géant rapporte, en moyenne, ce nombre de mots. Quand le petit modèle a souvent raison, vous récoltez près de γ+1 mots par vérification ; quand il a souvent tort, vous retombez simplement à un — jamais pire. Comme faire ricocher un galet plat : un seul lancer rebondit encore et encore. Une passe, plusieurs mots.

🌱 Deux esprits ont tracé le chemin. Où la décision a-t-elle eu lieu ?

Le devineur rapide et le géant lent, ensemble, produisent exactement les mots que le géant aurait écrits seul. Alors, lequel des deux pensait ? Comme deux sentiers qui se rejoignent en un seul : le chemin que vous suivez est unique et sûr — et pourtant vous étiez deux à le tracer. Si une supposition rapide et un hochement attentif donnent la même réponse que l'esprit attentif seul, où, dans tout cela, était le choix — dans le bond, ou seulement dans la vérification ?