Comment un modèle abrite de nombreux spécialistes — et n'en réveille que quelques-uns. · Source

Un modèle peut abriter cent esprits — et n'en réveiller que quelques-uns par mot.

Imaginez un modèle qui détient le savoir de cent spécialistes à la fois. L'astuce : pour un seul mot, presque tous restent endormis. Quelques-uns s'éveillent, donnent leur réponse, et les autres ne s'activent jamais. Comme un immense entrepôt : des rangées de rayonnages qui se perdent dans le noir, et vous n'allumez la lumière qu'au-dessus d'une seule allée. Énorme à contenir — peu coûteux à utiliser.

Normalement, chaque mot paie pour le moindre paramètre.

C_{\text{token}} \approx 2P

Dans un modèle dense ordinaire, chaque mot traverse tous les poids — chacun sollicité, à chaque fois. Le coût par mot avoisine deux opérations pour chaque paramètre que vous possédez : un modèle plus intelligent est donc un modèle plus coûteux, au même rythme. Capacité et coût sont soudés. Comme un orchestre au complet : tout l'ensemble joue à pleine puissance — même pour une seule note douce.

La solution commence : non pas un gros bloc, mais beaucoup de petits.

Prenez ce gros bloc de traitement et brisez-le en de nombreux plus petits — appelez-les des experts. Chacun est libre de glisser vers une spécialité : l'un penche vers le code, l'autre vers la grammaire, un autre vers les nombres. Personne n'assigne le partage — il émerge de l'entraînement. Comme le panneau d'outils d'un artisan : non pas un seul gadget bon à tout faire, mais un mur d'outils dédiés, chacun excellent dans sa tâche étroite.

Un petit routeur lit chaque mot et choisit quelques experts.

g = \operatorname{softmax}(x W_g), \qquad y = \sum_{i \in \operatorname{TopK}(g,\,k)} g_i\, E_i(x)

Faire tourner tous les experts ruinerait l'idée. Alors un petit routeur note les experts pour ce mot précis et n'en garde que les meilleurs — ceux-là tournent, les autres restent éteints. En symboles : notez-les avec un softmax, prenez les k plus hauts, et la réponse est leur mélange pondéré. Comme une chaîne de tri : un colis atteint l'aiguillage, est lu en un clin d'œil, et part dans une seule goulotte — pas sur chaque tapis du bâtiment.

Seuls quelques-uns s'activent. Capacité et coût se séparent enfin.

\text{capacity} \propto N, \qquad \text{cost} \propto k, \qquad k \ll N

Voici le gain. Ajoutez des experts et le modèle en sait plus — sa capacité croît avec leur nombre N. Mais seuls k d'entre eux tournent pour un mot, donc le calcul ne croît qu'avec k. Stockez cent experts, activez-en deux : cent fois le savoir pour le double du coût. Comme une rangée de robinets : tout le tuyau en est garni, et pourtant seuls deux restent ouverts.

Un hic : le routeur a ses favoris. On l'oblige donc à partager.

\mathcal{L}_{\text{aux}} = \alpha\, N \sum_{i=1}^{N} f_i\, P_i

Livré à lui-même, le routeur s'enlise — il appelle les mêmes quelques experts tandis que les autres ne s'entraînent jamais. On ajoute donc une petite pénalité d'équité : elle multiplie la part de mots que chaque expert a reçue par la part de confiance que le routeur lui a envoyée, et n'atteint son minimum que lorsque la charge est répartie également. Comme irriguer un champ : ouvrez chaque vanne d'une juste mesure, sinon quelques sillons se noient tandis que les autres se fendillent de sécheresse.

Le résultat : un géant qui tourne comme quelque chose de petit.

Mettez le tout ensemble et vous obtenez une machine discrètement radicale — le vaste savoir d'un modèle bien plus grand que son coût de fonctionnement. Toute la bibliothèque tient en mémoire ; chaque mot ne convoque que le tiroir dont il a besoin, et le reste des spécialistes attend dans le noir jusqu'à l'appel. Comme l'armoire d'un apothicaire : un mur de petits tiroirs, et pour le remède en main vous n'en ouvrez qu'un seul.

🌱 Si seuls quelques spécialistes s'éveillent, qui est en train de penser ?

🌱 Un esprit scindé en experts, seule une poignée allumée pour une pensée donnée — et un routeur silencieux qui décide lesquels. Alors, où réside vraiment la compréhension : chez les spécialistes qui répondent, ou chez celui qui choisit et sait à qui demander ? Nous fonctionnons ainsi nous aussi — sans convoquer tout notre être pour chaque pensée, seulement la part qui convient. Savoir qui réveiller est peut-être la compétence la plus profonde.