Cómo un modelo completa un patrón que vio una sola vez. · Source

Ve un patrón una vez y luego lo completa por ti.

Muéstrale “A luego B” una sola vez. Unas palabras después ve “A luego ___” y acierta con B: un patrón que aprendió hace segundos, de este mismo texto. Como quien teje: basta mirar las hileras ya hechas en la aguja y el siguiente punto está casi obligado. Sin nuevo entrenamiento, sin dato guardado: solo la secuencia que tiene delante, continuada. Este es el pequeño motor del aprender sobre la marcha.

Primer truco: marcar cada lugar con el que viene justo antes.

A^{\text{prev}}_{ij}\approx \mathbb{1}[\,j=i-1\,],\qquad h^{\text{prev}}_{i}\approx W_{OV}\,x_{i-1}

Para copiar lo que vino después de A, el modelo necesita primero que cada posición sepa lo que vino justo antes. Así que una cabeza temprana hace una tarea humilde: mirar exactamente un paso atrás y llevar a ese vecino hacia adelante. Como un topógrafo: cada nueva estaca se fija mirando atrás hacia la anterior, de modo que cada punto registra en silencio a su predecesor. En palabras llanas: atiende solo a la casilla de justo detrás y estampa ese token sobre el actual.

Luego: encontrar dónde apareció antes este token.

A^{\text{ind}}_{ij}=\operatorname{softmax}_{j}\!\left(\frac{q_i^{\top}k_j}{\sqrt{d}}\right)\ \text{peaks where}\ t_{j-1}=t_i

Ahora una segunda cabeza sale de caza. Su pregunta, en la palabra en la que está: “¿dónde me precedió este mismo token?” Gracias a aquellas marcas, se fija en el único lugar cuyo predecesor coincide: el sitio justo después de la última vez que apareció este token. Como un sabueso: lleva un solo olor, ignora todo el campo y se detiene en seco en el único lugar que coincide. En palabras llanas: apunta al token que siguió a una aparición previa del actual.

Fijado el blanco: ahora copia ese token a la salida.

\hat{t}_{i+1}=t_{j^{\star}},\qquad j^{\star}=\arg\max_{j} A^{\text{ind}}_{ij},\qquad \operatorname{diag}\!\big(W_{U}W_{OV}W_{E}\big)\gg 0

¿Encontró el lugar? La cabeza hace lo obvio: copia ese mismo token directamente en su predicción. Aquello que mira, eso vota; así sale B, la palabra que siguió a A la vez anterior. Como un pantógrafo: un brazo recorre la forma maestra y otro talla una copia exacta, fiel línea por línea. En palabras llanas: el circuito de copia eleva el logit justo del token al que atendió.

No memorizó palabras, solo la regla “repítelo”.

Aquí está la maravilla callada: el circuito no guarda A ni B. Copia una relación —“lo que siguió la vez pasada, dilo otra vez”—, así que se dispara con símbolos que nunca ha visto, un par sin sentido inventado en este instante, incluso ante una coincidencia aproximada y no exacta. Como una gofrera: vierte cualquier masa que jamás haya probado y sale el mismo patrón. Los tokens son intercambiables; solo la regla es fija.

No aparece gradualmente. De pronto, simplemente está.

Obsérvalo formarse durante el entrenamiento y no verás una rampa lenta. Durante un largo tramo, nada. Luego, en una ventana estrecha, las dos cabezas encajan en su sitio y la maña del modelo para aprender del prompt salta con ellas. Como un motor viejo: giras y giras la manivela, silencio total, y de golpe arranca y funciona. La salvedad honesta: ese salto repentino es la mayor parte de esa habilidad, no se prueba que sea toda.

Esta pequeña pareja sostiene el aprender sobre la marcha.

Toma distancia y la escala asombra: una enorme parte de “captó la tarea con unos pocos ejemplos” descansa en este único circuito de copiar-la-continuación. El modelo no echa mano de un saber guardado: ejecuta un pequeño truco de coincidencia sobre el texto que tiene delante. Como una clave de bóveda: una modesta cuña de piedra, y por ella se sostiene todo el arco. Quítala, y el vano se viene abajo.

🌱 ¿Conocer una idea nueva es solo hallar dónde ocurrió antes?

Gran parte de entender una instrucción nueva resulta ser esto: hallar la última vez que esto pasó y repetir lo que vino después. Como una veleta: vuelve a posarse en el rumbo que el viento ya marcó. Si leer algo nuevo es sobre todo volver a trazar un precedente que acabamos de ver, ¿eso es comprensión, o una memoria muy veloz de hace un instante?