Pourquoi l'agrandir continue de l'améliorer — de façon prévisible, puis d'un coup. · Source

Agrandis-le — il s'améliore le long d'une courbe, et de nouvelles aptitudes s'allument.

Tu ne réécris pas le modèle pour le rendre plus intelligent. Tu te contentes de le mettre à l'échelle — plus de paramètres, plus de données, plus de calcul — et son habileté grimpe le long d'une courbe lisse et prévisible. Puis, à certaines tailles, des aptitudes qu'on ne lui a jamais apprises apparaissent tout simplement. Comme une montgolfière à l'aube : tu montes sans heurt, et d'un coup tout un horizon nouveau s'ouvre en contrebas.

Le hic : un entraînement géant, c'est une fortune dépensée avant de savoir s'il paie.

Entraîner un modèle de pointe coûte des millions et dure des semaines. L'ancienne façon de savoir si un modèle plus grand en valait la peine ? Le construire et voir. Tu engages tout d'avance, et le verdict tombe bien trop tard pour changer de cap. Comme semer un champ immense au crépuscule : toute ta semence part maintenant, et savoir si ça valait le coup n'apparaîtra qu'à la récolte, une saison plus tard.

Trace l'erreur en fonction de la taille, et le chaos se redresse en une ligne nette.

L(N) \approx \left(\dfrac{N_c}{N}\right)^{\alpha_N},\qquad \alpha_N \approx 0.076

Mesure l'erreur du modèle à mesure que tu augmentes le nombre de paramètres N. Sur des axes log-log, les points tombent sur une droite : l'erreur baisse comme une loi de puissance fixe de la taille. En clair, chaque 10× de taille retranche la même part fixe d'erreur — tu peux donc lire le modèle de demain sur la droite d'aujourd'hui. Comme des rails vers l'horizon : parfaitement droits, et tu vois où ils mènent bien avant d'arriver.

Taille, données, calcul — et le calcul, c'est juste les deux autres multipliés.

C \approx 6\,N\,D

La courbe a trois boutons : les paramètres N, les tokens d'entraînement D et le calcul C que tu dépenses — et ils ne sont pas indépendants. Chaque token coûte environ six opérations par paramètre, deux à l'aller et quatre au retour. En clair, le travail total, c'est la taille fois les données, six fois. Comme tisser une étoffe : le métrage obtenu, c'est les fils de chaîne fois les passes de trame — aucun seul ne fait un mètre.

Tu n'atteins jamais zéro. Il reste toujours un plancher de pur hasard.

L(N,\,D) = E + \dfrac{A}{N^{\alpha}} + \dfrac{B}{D^{\beta}}

Fais croître le modèle et les données à l'infini, et l'erreur n'atteindra toujours pas zéro. La loi complète empile deux pénalités qui rétrécissent — une pour un modèle trop petit, une pour trop peu de données — par-dessus un plancher fixe E. Ce plancher, c'est le vrai hasard du langage lui-même : même un modèle parfait ne peut pas deviner un pile ou face. Comme polir un miroir : chaque passe gagne un peu moins, et la physique fixe un poli vers lequel tu ponces sans jamais le dépasser.

À budget fixe, fais croître le modèle et les données ensemble — pas l'un seul.

N_{\text{opt}} \propto C^{a}, \quad D_{\text{opt}} \propto C^{b}, \quad a \approx b \approx \tfrac{1}{2}

Fixe le budget de calcul et demande : modèle plus grand, ou plus de données ? La réponse, c'est les deux, à parts presque égales — quand le budget double, fais croître chacun à peu près du même facteur. Le bon réglage se situe vers vingt tokens de texte par paramètre. En clair, un modèle géant trop peu nourri n'est qu'un géant sous-entraîné. Comme ramer avec deux avirons : tire bien plus fort sur l'un que sur l'autre et tu ne vas pas plus vite — tu ne fais que tourner.

Descends assez loin le long de cette courbe lisse, et de nouvelles capacités s'activent d'un coup.

Voici le rebondissement qui fait passer l'échelle pour de la magie. La courbe de perte descend en douceur — pourtant une compétence précise, comme l'arithmétique à plusieurs chiffres, peut rester plate au niveau du hasard, modèle après modèle, puis se mettre à marcher presque d'un coup. Elle se construisait en dessous depuis le début ; le saut brusque tient en partie à la toise, qui note en tout ou rien. Comme un tas de sable à son angle critique : tu ajoutes les grains un à un et rien ne bouge — jusqu'à ce qu'un seul grain fasse glisser toute la pente.

🌱 La ligne ne se courbe jamais. Y a-t-il donc un sommet — ou seulement plus de la même chose ?

Chaque loi ici dit la même chose : dépense plus, obtiens plus, le long d'une courbe qui ne fait que continuer — pas de coude, pas de plafond en vue. Mais une ligne qui ne tourne jamais est aussi une ligne qui n'arrive jamais ; elle promet seulement que le prochain barreau est à portée, jamais qu'il est le dernier. Alors, quand un modèle finit par sembler comprendre, est-ce quelque chose de vraiment nouveau — ou seulement la même montée lisse, affûtée jusqu'à nous surprendre nous-mêmes ?