Pourquoi un modèle devient plus intelligent à mesure qu'il réfléchit.

SRC·40 Source
Son intelligence n'est pas figée à l'entraînement. Laisse-le réfléchir plus longtemps.

Son intelligence n'est pas figée à l'entraînement. Laisse-le réfléchir plus longtemps.

Mêmes poids, même modèle — mais accorde plus d'effort à l'instant où il répond, et il vise plus juste. Réfléchir est un bouton à part entière, distinct de la taille. Comme une longue exposition : un cliché rapide du ciel nocturne montre quelques étoiles ; laisse l'objectif ouvert plus longtemps et des milliers éclosent de la même obscurité. Rien n'a changé sinon le temps que tu lui as donné.
Par défaut, chaque question reçoit la même fraction de seconde.

Par défaut, chaque question reçoit la même fraction de seconde.

Demande-lui n'importe quoi — une énigme ou une addition — et il répond en une seule passe, le même effort fixe pour le banal comme pour le redoutable. Aucune question n'a droit à une seconde pensée. Comme une sonnette de comptoir : une tape et une réponse jaillit, à l'instant, que la commande soit un verre d'eau ou un repas de cinq plats. Rapide, mais jamais plus profond quand il le faudrait.
Alors ne demande pas une fois. Demande cent fois.

Alors ne demande pas une fois. Demande cent fois.

P(success)=1(1p)NP(\text{success}) = 1 - (1-p)^{N}
Le levier le plus simple : laisse-le tenter la même question encore et encore, chaque essai indépendant tombant un peu différemment. Un seul tir peut manquer ; un éventail de tirs manque rarement en entier. Comme frotter une allumette humide : un frottement peut ne pas prendre, mais continue et la probabilité qu'aucune ne s'enflamme chute vite. Si un essai est juste avec une chance p, celle que les N échouent tous n'est que (1−p)ᴺ.
Mais plus d'essais n'aident que si tu repères le gagnant.

Mais plus d'essais n'aident que si tu repères le gagnant.

Cent réponses ne valent rien si rien ne peut dire laquelle est juste. Ce juge est le piège : un vérificateur qui note chaque tentative. Comme un détecteur de métaux sur le sable : tu peux creuser mille trous, mais tu ne tombes sur la bague que si quelque chose te dit . Sans détecteur, tu te rabats sur un vote à main levée — et la réponse préférée de la foule peut être, en toute confiance et à l'unanimité, fausse.
Chaque essai de plus rapporte moins que le précédent.

Chaque essai de plus rapporte moins que le précédent.

ΔPN=p(1p)N1\Delta P_N = p\,(1-p)^{N-1}
Les gains ne tombent pas gratuitement à l'infini. Les premiers essais font l'essentiel du travail ; ensuite, chaque nouvel essai déplace les chances d'un cheveu de moins que le précédent. Comme presser un citron : la première pression donne un jet, la suivante un filet, et bientôt tu forces de toutes tes mains pour une seule goutte. Le N-ième essai n'ajoute que p(1−p)ᴺ⁻¹ — réel, mais décroissant géométriquement. Réfléchir plus coûte toujours ; cela ne paie pas toujours.
Un petit esprit qui réfléchit longtemps égale un grand qui lâche tout.

Un petit esprit qui réfléchit longtemps égale un grand qui lâche tout.

Ctest2NparamsTtokensC_{\text{test}} \approx 2\,N_{\text{params}}\,T_{\text{tokens}}
Cela achète une seconde façon de devenir plus intelligent. Le calcul dépensé pour répondre n'est que la taille du modèle multipliée par ce qu'il génère — laisser un modèle réfléchir K× plus longtemps coûte donc autant que d'en bâtir un K× plus grand. Comme une scie à main dans une poutre : une petite lame, avec assez de coups patients, tranche ce qu'une grande scie de scierie fend d'une seule passe. Échange la taille contre le temps. Avec mesure — pousse trop loin et les gains s'aplatissent.
Deux manettes désormais : sa taille, et le temps qu'il réfléchit.

Deux manettes désormais : sa taille, et le temps qu'il réfléchit.

L'intelligence a cessé d'être un seul nombre cuit à l'entraînement. Il y a maintenant deux manettes — la taille à laquelle tu fais grandir le modèle, et le temps de réflexion que tu lui accordes pour répondre — et les deux achètent de la précision le long d'une courbe lisse et gravissable. Comme une charrette à bras : une modeste, voyage après voyage, transporte ce qu'un grand chariot emporte en une seule charge. Force ou patience — le travail arrive quand même.
Pas un poids n'a changé. Et pourtant, avec du temps, il en savait plus.

Pas un poids n'a changé. Et pourtant, avec du temps, il en savait plus.

Rien dans le modèle n'a bougé. Aucun fait nouveau n'a été appris. Et pourtant — avec plus de temps pour réfléchir — il atteint des réponses qu'il ne pouvait pas avant. Où vivait ce savoir tant qu'il restait impensé ? Peut-être que réfléchir plus longtemps ne crée pas du tout la réponse, mais marche seulement assez loin pour en trouver une qui était toujours à portée. 🌱
touchez →balayez ↑ pour approfondirbalayez ↓ pour quitter