Cómo un modelo aprende una tarea nueva a partir del prompt — sin cambiar nada. · Source

Aprende una tarea nueva a partir del prompt — y ni un solo peso se mueve.

Dale una tarea para la que nunca se entrenó — unos ejemplos, una pregunta nueva — y simplemente la hace. Sin ajuste fino. Sin pasos de gradiente. Nada en su interior se reescribe. Esto es aprendizaje en contexto: el modelo capta la tarea solo a partir del prompt, en una sola pasada hacia adelante, y luego la suelta. Enseñar, sin nada que instalar.

Normalmente aprender es cambiar. Aquí, nada cambia.

\Delta\theta = 0

El entrenamiento reescribe un modelo — el descenso de gradiente empuja mil millones de pesos hasta mejorarlo. El aprendizaje en contexto no hace nada de eso: los pesos están congelados, Δθ = 0. ¿De dónde sale entonces la nueva habilidad? Como un caleidoscopio: los espejos y las cuentas nunca cambian — le das un giro y aparece un patrón completamente nuevo, hecho solo con lo que ya estaba dentro.

No le dices la regla. Le muestras unos ejemplos.

\hat{y} = \arg\max_{y}\ p_\theta\!\left(y \mid (x_1,y_1),\dots,(x_k,y_k),\,x_q\right),\quad \theta\ \text{fixed}

Coloca un puñado de pares — entrada, luego respuesta — y después una entrada nueva, todo como un único prompt largo. El modelo simplemente continúa el patrón. Nunca enunciaste la regla; los ejemplos son la instrucción. Como un imitador: dale unas frases con la voz de alguien y la sigue a la perfección — nadie escribió cómo funciona esa voz. El mismo motor de la siguiente palabra, recién apuntado.

No está aprendiendo la tarea. Está encontrando una que ya tiene.

p(y \mid x, D) = \int p(y \mid x, T)\, p(T \mid D)\, dT

El preentrenamiento ya lo paseó por mil tareas como la tuya. Los ejemplos no enseñan una habilidad nueva — le dicen cuál habilidad ejecutar. Formalmente, su respuesta promedia sobre todas las tareas que podría estar haciendo, ponderadas por lo bien que cada una encaja con tus ejemplos. Como el llavero de un conserje: ya llevas todas las llaves — los ejemplos solo dicen cuál abre esta puerta.

Cada ejemplo descarta tareas. Los primeros pesan más.

p(T \mid D_{k+1}) \propto p(T \mid D_k)\, p(x_{k+1},y_{k+1} \mid T)

Cada nueva demostración vuelve a ponderar el campo: las tareas que la predijeron bien suben, las demás se desvanecen. Así, más ejemplos afinan la conjetura — pero con rendimientos decrecientes. Un puñado suele hacer casi todo el trabajo, y amontonar más apenas lo mueve (y hasta puede confundirlo). Como enfocar unos prismáticos: las primeras vueltas vuelven nítida la escena; después, casi no giras nada.

Lo asombroso: la pasada hacia adelante podría estar aprendiendo.

\hat{w} = w_0 - \eta\,\nabla_{w}\textstyle\sum_{i}\left(w^\top x_i - y_i\right)^2,\qquad \hat{y}_q = \hat{w}^\top x_q

Redúcelo a un juguete — una tarea lineal simple, atención simplificada — y puedes leer un verdadero paso de aprendizaje en las matemáticas: una sola pasada ajusta un modelo desechable a tus ejemplos y luego predice. Como quien cuenta cartas: con las pocas cartas ya mostradas, ajusta las probabilidades en su cabeza en silencio — todo un cálculo escondido en una sola mirada. Demostrado para el caso de juguete; una conjetura destacada para el caso real.

El prompt es un programa. La máquina nunca cambia.

Sin reentrenar, sin copia nueva, sin tocar un solo peso — lo reprogramas con lo que pones delante, y el siguiente prompt lo reprograma otra vez. La habilidad entera vive en la entrada. Como un camaleón: el animal en sí nunca cambia — ponlo sobre un fondo nuevo y se vuelve de ese color, al instante, y luego del siguiente.

🌱 Aprendió por un momento. Luego la ventana se cerró.

Lo que captó vivió solo en este contexto. Cierra la ventana y desaparece — el modelo está exactamente como estaba, sin guardar nada. Entonces, ¿eso fue aprender, o solo recordar lo justo para responder? Y si una habilidad puede aparecer con el prompt y desvanecerse con él, ¿dónde estaba la habilidad todo el tiempo que durmió?