Cómo un modelo lee sin parar sin releer nada. · Source

Lee el libro entero — sin releer ni una palabra.

La atención relee cada palabra frente a todas las demás; el doble de texto, el cuádruple de trabajo. Pero hay otra vía. Lleva un único estado vivo —un resumen pequeño y fijo— y mezcla en él cada palabra nueva sobre la marcha. Sin mirar atrás, sin una rejilla que crece. El coste se mantiene plano, por larga que sea la página. La pregunta pasa a ser: ¿qué merece guardarse?

No guardes cada palabra. Guarda un único resumen vivo.

Aquí está la otra vía, en un solo gesto. En vez de almacenar cada palabra y compararlas todas, guarda un único estado —un resumen vivo y compacto— y revuelve en él cada palabra nueva. Como una olla a la que sigues echando ingredientes: no vuelves a alinear cada ingrediente en cada paso; incorporas el nuevo y pruebas. La olla guarda toda la comida hasta ahora, en un solo sitio.

Toda la máquina en una línea: difumina, suma, lee.

h_t = A\,h_{t-1} + B\,x_t,\qquad y_t = C\,h_t

El estado se actualiza con una regla simple. En cada paso, el estado viejo se difumina un poco (el término A), la palabra nueva se suma (el término B), y lo que informas es una lectura del estado (el término C). Como el eco de un cañón: cada grito nuevo se une a la reverberación que se apaga suavemente de todos los gritos anteriores — y lo que tu oído capta es la mezcla.

Congela la regla y se vuelve un único filtro fijo.

y_t = \sum_{k=0}^{t} C A^{k} B\,x_{t-k} = (K * x)_t,\qquad K_k = C A^{k} B

Si A, B, C nunca cambian, despliega la recurrencia y se reduce a un único filtro deslizado por toda la entrada — calculable de golpe, vertiginosamente rápido. Pero hay un precio: como una escalera mecánica a velocidad fija, lleva cada palabra al mismo ritmo. No puede acelerar el relleno ni demorarse en la palabra que importa. Rápido, pero ciego.

El salto: deja que la palabra decida qué guardar.

\Delta_t,\,B_t,\,C_t = f(x_t),\qquad h_t = \bar{A}_t\,h_{t-1} + \bar{B}_t\,x_t,\quad \bar{A}_t = \exp(\Delta_t A)

Ahora el truco de verdad. Haz que las compuertas dependan de la propia palabra: cuánto escribir (B), con qué rapidez olvidar (el paso Δ), qué leer (C) — todas funciones de la entrada. Como un surfista que lee cada ola: deja pasar las pequeñas, rema con fuerza por la que vale la pena montar. El modelo ahora elige, palabra por palabra, qué merece recordarse.

La selectividad rompió el atajo. Un barrido lo rehace.

(A_j,\,b_j)\oplus(A_i,\,b_i) = (A_j A_i,\;\, A_j\,b_i + b_j)\quad\Rightarrow\quad O(\log n)\ \text{depth}

Dejar que la palabra lleve el timón significa que ya no hay un único filtro fijo — así que el truco de golpe se esfuma. Pero el paso sigue siendo asociativo: combinar dos tramos de 'difumina-y-suma' da un tramo del mismo tipo. Así que emparéjalos y fusiónalos en paralelo. Como un cuadro eliminatorio: rondas enteras se resuelven a la vez, y el campeón se conoce en apenas un puñado de rondas — no de partido en partido.

Coste lineal — y una memoria que nunca crece.

\text{time } O(n\,d\,N),\qquad \text{state size } O(d\,N)\ \text{(fixed in } n)\qquad \text{vs. attention } O(n^2 d)

Suma la cuenta. El trabajo crece en línea recta con la longitud, no como su cuadrado. Y al generar llevas solo un estado de tamaño fijo — nunca se hincha como lo hace un historial guardado, por largo que se vuelva el diálogo. Como la pértiga de un equilibrista: la misma única pértiga en tus manos en el paso diez o en el diez mil. La longitud deja de ser un muro.

Guarda un resumen — nunca el pasado mismo.

Un lector de todos-contra-todos guarda cada palabra y siempre puede mirar atrás. Este guarda solo un estado que evoluciona — y debe decidir, en el instante en que llega cada palabra, qué incorporar y qué dejar difuminarse. Nunca puede des-olvidar. 🌱 Si una mente elige qué guardar en el momento en que lo ve, y nunca vuelve al pasado en crudo — ¿lo que lleva es memoria, o solo el relato que se contó a sí misma sobre lo que importaba?