Dale al modelo un libro abierto: que busque las cosas en vez de inventarlas. · Source

Un genio encerrado en una sala sin apuntes: por eso farolea.

Un modelo entrenado es un examen a libro cerrado: todo lo que sabe quedó sellado el día en que terminó su entrenamiento. Pregúntale por tus archivos privados o por las noticias de esta mañana y no hay página que pasar, así que adivina, con soltura, y suena seguro. La generación aumentada por recuperación le entrega el libro. Deja que lo consulte en vez de hurgar en la memoria. Como un examen a libro abierto: dejas de memorizar el mundo y empiezas a encontrar la página.

Su conocimiento quedó congelado el día en que se lanzó.

Todo lo que el modelo aprendió queda grabado en pesos fijos y luego congelado: nada se actualiza tras el entrenamiento. No puede albergar los documentos de tu empresa ni saber qué pasó hoy. Peor aún, no tiene una casilla para 'eso nunca lo leí', así que rellena el hueco con lo que suene verosímil. Como una enciclopedia impresa: solvente, bellamente encuadernada, y un poco desactualizada en cuanto se seca la tinta.

Así que no lo metas todo dentro. Trae lo que necesitas.

Aquí está la jugada: deja de intentar embutir cada dato en los pesos. Guarda el conocimiento fuera del modelo, en un almacén corriente que se pueda buscar, y trae solo los pocos pasajes que cada pregunta necesita; luego responde a partir de ellos. El modelo deja de ser un sabelotodo y se vuelve un lector brillante. Como la despensa de una ardilla: no guarda cada bellota en los carrillos; las entierra cerca y desentierra solo las que quiere.

Cómo encuentra el pasaje correcto: por significado, no por palabras.

e_q=E(q),\ e_d=E(d),\quad \mathrm{sim}(q,d)=\dfrac{e_q\cdot e_d}{\lVert e_q\rVert\,\lVert e_d\rVert},\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d)

Tanto la pregunta como cada pasaje se convierten en puntos dentro de un mismo espacio de significado, el mismo truco que coloca gato junto a gatito. Puntúa cada pasaje por lo bien que su punto se alinea con el de la pregunta y quédate con los pocos mejores. Ninguna palabra clave tiene que coincidir; lo encuentra la cercanía de significado. Como un florista: pídele algo suave y alegre y va directo al cubo que más se le parece en sensación, sin reparar en su nombre.

Ahora responde a partir de la página, no de la memoria.

p_\eta(d\mid q)=\dfrac{\exp\,\mathrm{sim}(q,d)}{\sum_{d'\in\mathcal{D}_k}\exp\,\mathrm{sim}(q,d')},\qquad p(y\mid q)=\sum_{d\in\mathcal{D}_k} p_\eta(d\mid q)\,p_\theta(y\mid q,d)

Los pasajes recuperados se vuelcan en el prompt, y el modelo responde anclado en ellos: su respuesta es en realidad una mezcla sobre esos pocos pasajes, cada uno ponderado por lo bien que encajó. La memoria deja de mandar; manda la página. En palabras simples: construye la respuesta con lo que se le acaba de entregar. Como un testigo que lee la prueba: en vez de recitar de una memoria borrosa, lee del documento que tiene delante.

La trampa: vale lo que vale lo que recuperaste.

\mathrm{Recall}@k=\dfrac{\lvert R\cap\mathcal{D}_k\rvert}{\lvert R\rvert}

El anclaje es un arma de doble filo. Si la recuperación saca a la luz los pasajes equivocados, el modelo se ancla con seguridad en lo que no es; y si el único pasaje que necesitabas nunca entró en los pocos recuperados, nada aguas abajo puede rescatarlo. En palabras simples: esto solo mide la proporción de los pasajes realmente relevantes que pasaron el corte. El techo queda fijado antes de escribir una sola palabra. Como la compra de la mañana: el mejor cocinero solo puede emplatar lo que llegó en la caja.

Actualiza la biblioteca, nunca el modelo.

y\sim p_\theta\big(y\mid q,\ \mathcal{D}_k\big),\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d);\qquad \text{update }\mathcal{D},\ \ \theta\ \text{fixed}

Da un paso atrás y todo el bucle es sencillo: convierte la pregunta en un punto, recupera los pasajes más cercanos, responde a partir de ellos. Los pesos del modelo no se mueven nunca; todo el conocimiento que importa vive fuera, en un almacén que puedes editar, cambiar o ampliar en segundos, y el modelo puede señalar el pasaje exacto en que se apoyó. ¿Datos de ayer? Cambia la página, no el cerebro. Como una galería con exposiciones rotativas: la sala sigue igual mientras las paredes muestran algo nuevo, y cada pieza cuelga ahí para poder comprobarla.

🌱 Si siempre puede consultarlo, ¿qué merece saberse de memoria?

Dale a una mente una forma lo bastante rápida de consultar cualquier cosa, y la línea entre saber y encontrar empieza a difuminarse. Nosotros también vivimos ahí: la mitad de nuestra memoria descansa ya en las cosas que podemos alcanzar. Entonces, ¿qué debería seguir guardando una mente en sí misma: los datos, o solo el arte de saber dónde mirar? Y si siempre echa mano de la página, ¿llega algo a ser de verdad suyo?