Comment un modèle lit encore et encore sans jamais rien relire. · Source

Il lit le livre entier — sans jamais relire un mot.

L'attention relit chaque mot face à tous les autres ; deux fois le texte, quatre fois le travail. Mais il existe une autre voie. Portez un seul état courant — un petit résumé fixe — et fondez-y chaque nouveau mot au fil de l'eau. Aucun retour en arrière, aucune grille qui enfle. Le coût reste plat, quelle que soit la longueur de la page. La question devient : qu'est-ce qui mérite d'être gardé ?

Ne gardez pas chaque mot. Gardez un seul résumé courant.

Voici l'autre voie, en un seul geste. Au lieu de stocker chaque mot et de tous les comparer, gardez un seul état — un résumé courant et compact — et incorporez-y chaque nouveau mot. Comme une marmite que vous ne cessez de garnir : vous ne réalignez pas chaque ingrédient à chaque étape ; vous y fondez le nouveau et goûtez. La marmite contient tout le repas jusqu'ici, en un seul endroit.

Toute la machine en une ligne : estomper, ajouter, lire.

h_t = A\,h_{t-1} + B\,x_t,\qquad y_t = C\,h_t

L'état se met à jour par une règle simple. À chaque pas, l'ancien état s'estompe un peu (le terme A), le nouveau mot s'y ajoute (le terme B), et ce que vous rapportez est une lecture de l'état (le terme C). Comme l'écho d'un canyon : chaque nouveau cri rejoint la réverbération qui s'éteint doucement de tous les cris précédents — et ce que votre oreille saisit, c'est le mélange.

Figez la règle, et elle devient un seul filtre fixe.

y_t = \sum_{k=0}^{t} C A^{k} B\,x_{t-k} = (K * x)_t,\qquad K_k = C A^{k} B

Si A, B, C ne changent jamais, déroulez la récurrence et elle se réduit à un seul filtre glissé sur toute l'entrée — calculable d'un coup, fulgurant. Mais il y a un prix : comme un escalator à vitesse fixe, il porte chaque mot à la même allure. Il ne peut ni presser le remplissage ni s'attarder sur le mot qui compte. Rapide, mais aveugle.

Le saut : laissez le mot décider quoi garder.

\Delta_t,\,B_t,\,C_t = f(x_t),\qquad h_t = \bar{A}_t\,h_{t-1} + \bar{B}_t\,x_t,\quad \bar{A}_t = \exp(\Delta_t A)

Voici le vrai tour. Faites que les portes dépendent du mot lui-même : combien inscrire (B), à quelle vitesse oublier (le pas Δ), quoi lire en sortie (C) — toutes fonctions de l'entrée. Comme un surfeur qui lit chaque vague : laissez glisser les petites houles, ramez fort pour celle qui vaut la peine. Le modèle choisit désormais, mot après mot, ce qui mérite d'être retenu.

La sélectivité a brisé le raccourci. Un balayage le refait.

(A_j,\,b_j)\oplus(A_i,\,b_i) = (A_j A_i,\;\, A_j\,b_i + b_j)\quad\Rightarrow\quad O(\log n)\ \text{depth}

Laisser le mot tenir la barre veut dire qu'il n'y a plus de filtre fixe unique — le tour d'un seul coup s'évanouit donc. Mais le pas reste associatif : combiner deux tronçons de « estomper-puis-ajouter » donne un tronçon du même type. Alors appariez-les et fusionnez en parallèle. Comme un tableau à élimination : des tours entiers se règlent d'un coup, et le champion est connu en une poignée de tours — pas match après match.

Coût linéaire — et une mémoire qui ne grandit jamais.

\text{time } O(n\,d\,N),\qquad \text{state size } O(d\,N)\ \text{(fixed in } n)\qquad \text{vs. attention } O(n^2 d)

Faites le total. Le travail croît en ligne droite avec la longueur, pas comme son carré. Et au moment de générer, vous ne portez qu'un seul état de taille fixe — il n'enfle jamais comme le fait un historique stocké, quelle que soit la longueur de l'échange. Comme le balancier d'un funambule : le même unique balancier dans vos mains au pas dix ou au pas dix mille. La longueur cesse d'être un mur.

Il garde un résumé — jamais le passé lui-même.

Un lecteur tous-contre-tous garde chaque mot et peut toujours jeter un œil en arrière. Celui-ci ne garde qu'un état qui évolue — et doit décider, à l'instant où chaque mot arrive, quoi y fondre et quoi laisser s'estomper. Il ne peut jamais dé-oublier. 🌱 Si un esprit choisit quoi garder à l'instant où il le voit, et ne revient jamais au passé brut — ce qu'il porte est-il de la mémoire, ou seulement l'histoire qu'il s'est racontée sur ce qui comptait ?