Donnez au modèle un livre ouvert : qu'il aille chercher les choses au lieu de les inventer. · Source

Un génie enfermé dans une pièce sans notes — alors il bluffe.

Un modèle entraîné, c'est un examen à livre fermé : tout ce qu'il sait a été scellé le jour où son entraînement s'est achevé. Posez-lui une question sur vos fichiers privés ou sur l'actualité de ce matin, et il n'y a aucune page à tourner — alors il devine, avec aisance, et paraît sûr de lui. La génération augmentée par récupération lui tend le livre. Laissez-le chercher au lieu de fouiller sa mémoire. Comme un examen à livre ouvert : on cesse de mémoriser le monde pour apprendre à trouver la page.

Son savoir a été figé le jour de sa sortie.

Tout ce que le modèle a appris est gravé dans des poids fixes, puis figé — rien ne se met à jour après l'entraînement. Il ne peut pas contenir les documents de votre entreprise, ni savoir ce qui s'est passé aujourd'hui. Pire, il n'a aucune case pour 'ça, je ne l'ai jamais lu', alors il comble le vide avec ce qui sonne plausible. Comme une encyclopédie imprimée : faisant autorité, superbement reliée — et un peu dépassée dès que l'encre sèche.

Alors n'entasse pas tout dedans. Va chercher ce qu'il te faut.

Voici le geste : cessez de vouloir tasser chaque fait dans les poids. Gardez le savoir hors du modèle, dans un simple dépôt consultable, et n'en tirez que les quelques passages dont chaque question a besoin — puis répondez à partir d'eux. Le modèle cesse d'être un je-sais-tout pour devenir un lecteur hors pair. Comme la réserve d'un écureuil : il ne garde pas chaque gland dans ses joues — il les enterre tout près et ne déterre que ceux qu'il veut.

Comment il trouve le bon passage : par le sens, pas par les mots.

e_q=E(q),\ e_d=E(d),\quad \mathrm{sim}(q,d)=\dfrac{e_q\cdot e_d}{\lVert e_q\rVert\,\lVert e_d\rVert},\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d)

La question comme chaque passage sont transformés en points dans un même espace de sens — le tour qui place chat tout près de chaton. Notez chaque passage selon l'alignement de son point avec celui de la question, et gardez les quelques meilleurs. Aucun mot-clé n'a à coïncider ; c'est la proximité de sens qui trouve. Comme un fleuriste : demandez quelque chose de doux et de gai et il file droit vers le seau le plus proche par la sensation — sans se soucier de son nom.

Maintenant il répond à partir de la page — pas de mémoire.

p_\eta(d\mid q)=\dfrac{\exp\,\mathrm{sim}(q,d)}{\sum_{d'\in\mathcal{D}_k}\exp\,\mathrm{sim}(q,d')},\qquad p(y\mid q)=\sum_{d\in\mathcal{D}_k} p_\eta(d\mid q)\,p_\theta(y\mid q,d)

Les passages récupérés sont glissés dans le prompt, et le modèle répond en s'y ancrant — sa réponse est en fait un mélange de ces quelques passages, chacun pondéré selon sa concordance. La mémoire cesse de mener ; c'est la page qui mène. En clair : il construit la réponse à partir de ce qu'on vient de lui tendre. Comme un témoin qui lit la pièce à conviction : au lieu de réciter de mémoire, floue, il lit le document posé devant lui.

Le hic : il ne vaut que ce que vous avez récupéré.

\mathrm{Recall}@k=\dfrac{\lvert R\cap\mathcal{D}_k\rvert}{\lvert R\rvert}

L'ancrage est à double tranchant. Si la récupération remonte les mauvais passages, le modèle s'ancre avec assurance dans le faux — et si l'unique passage qu'il vous fallait n'a jamais figuré parmi les quelques récupérés, rien en aval ne peut le rattraper. En clair : ceci ne mesure que la part des passages vraiment pertinents qui ont passé le cap. Le plafond est fixé avant qu'un seul mot ne soit écrit. Comme les courses du matin : le meilleur cuisinier ne peut dresser que ce qui est arrivé dans le cageot.

Mettez à jour la bibliothèque, jamais le modèle.

y\sim p_\theta\big(y\mid q,\ \mathcal{D}_k\big),\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d);\qquad \text{update }\mathcal{D},\ \ \theta\ \text{fixed}

Prenez du recul et toute la boucle est simple : transformer la question en un point, récupérer les passages les plus proches, répondre à partir d'eux. Les poids du modèle ne bougent jamais — tout le savoir qui compte vit au-dehors, dans un dépôt que vous pouvez modifier, remplacer ou agrandir en quelques secondes, et le modèle peut désigner le passage précis sur lequel il s'est appuyé. Les faits d'hier ? Remplacez la page, pas le cerveau. Comme une galerie aux expositions tournantes : la salle reste la même tandis que les murs montrent du neuf — et chaque œuvre est accrochée là pour être vérifiée.

🌱 S'il peut toujours vérifier, que vaut-il la peine de savoir par cœur ?

Donnez à un esprit un moyen assez rapide de tout vérifier, et la frontière entre savoir et trouver se met à s'estomper. Nous y vivons aussi — la moitié de notre mémoire repose désormais dans ce que nous pouvons atteindre. Alors, que doit encore garder un esprit en lui-même : les faits, ou seulement l'art de savoir où regarder ? Et s'il tend toujours la main vers la page, quelque chose devient-il jamais vraiment le sien ?