Cómo un predictor se convierte en un agente. · Source

Solo, únicamente escribe la siguiente palabra. En un bucle, actúa.

Un modelo de lenguaje no puede hacer nada. No puede consultar un precio, hacer una suma ni abrir un archivo: solo predice la siguiente palabra y se detiene. Como un guante sobre la mesa: inerte por sí mismo. Pero métele en un bucle —déjalo actuar, ver qué pasó y actuar de nuevo— y el predictor se convierte en alguien que hace. Ese bucle es toda la idea de un agente.

Su conocimiento se congeló el día que terminó el entrenamiento.

Los pesos dejaron de cambiar cuando terminó el entrenamiento. Así que el modelo no tiene sentidos ni manos: pídele el clima de hoy y solo puede adivinar; pídele que haga los cálculos y solo puede fingir. Como un barco dentro de una botella: todo un mundo recreado al detalle, sellado en vidrio, incapaz de tocar el mar que muestra. Para servir ahora, necesita una forma de llegar más allá del vidrio.

La solución es un bucle: pensar, actuar, mirar, repetir.

a_t \sim \pi_\theta(\cdot \mid c_t),\quad o_t = \mathrm{env}(a_t),\quad c_{t+1} = c_t \oplus a_t \oplus o_t

Dale un ciclo: razona qué hacer, ejecuta una acción, lee lo que el mundo devolvió como observación, y vuelve a razonar. Esto es ReAct. En pocas palabras: el modelo propone un movimiento a partir de todo lo escrito hasta ahora, el mundo responde, y esa respuesta se añade a la página que leerá después. Como ajustar un ensamble: un carpintero corta, junta las piezas para ver la holgura, desbasta y vuelve a probar, cerrando un encaje perfecto por retroalimentación, no de un solo golpe de suerte.

Nunca actúa de verdad. Escribe una petición y nosotros la ejecutamos.

\Delta\theta = 0,\qquad a_t \sim p_\theta(\cdot \mid x_{<t}),\qquad o_t\ \text{clamped, not sampled}

El modelo no puede salir de sí mismo. Solo escribe una petición —busca esto, calcula aquello— como palabras corrientes. Un envoltorio la ejecuta y pega el resultado de vuelta en la transcripción. Como un tubo neumático de mensajes: escribes una nota, sale disparada, vuelve una respuesta, y nunca te levantas del escritorio. En pocas palabras: nada se entrena durante el bucle; el mismo modelo congelado sigue prediciendo el siguiente token, solo que ahora las respuestas de la herramienta se le entregan, no se las inventa.

Pensar sin más inventa. Actuar sin más es ciego.

p(\text{answer}\mid q)=\sum_{\tau} p(\text{answer}\mid q,\tau)\,p(\tau\mid q),\quad \tau=(a_1,o_1,\dots,a_T,o_T)

Razonar sin retroalimentación deriva en ficción segura de sí misma; actuar sin pensar es puro manoteo. Entrelázalos: cada pensamiento elige la siguiente acción, y cada observación real corrige el siguiente pensamiento. Como ceñir contra el viento: no puedes navegar recto al rumbo ni dejarte llevar; zigzagueas, leyendo el viento en cada tramo y ajustando, y llegas a la meta. En pocas palabras: la respuesta se construye sobre el camino que el agente recorrió de verdad, y como cada observación es real, un paso en falso se atrapa, no se acumula.

Se detiene cuando dice «listo», o cuando se acaba el presupuesto.

T = \min\bigl(B,\ \min\{\, t : a_t = \texttt{STOP} \,\}\bigr)

La mayoría de los bucles se detienen solos: el modelo deja de llamar herramientas y escribe una respuesta final. Pero no siempre: puede obsesionarse, repitiendo un movimiento fallido, o creer una observación errónea y entrar en espiral. Como una rueda atascada en el barro: gira en el mismo sitio para siempre si nada la detiene. Por eso la limitamos con un presupuesto de pasos B. En pocas palabras: para en el primer turno en que diga «listo», o en el turno B, lo que llegue antes; B es la correa que garantiza que el bucle termine.

Un predictor congelado, envuelto en un bucle, se vuelve un agente.

Nada cambió dentro del modelo. Y sin embargo un predictor de la siguiente palabra, con herramientas y un bucle, ahora puede planear, actuar, comprobar y corregir su camino hacia una meta que nunca recibió de una sola pieza. Como un perro pastor con su rebaño: el perro lee a las ovejas, se lanza, vuelve a leer, ajusta, y todo el rebaño se encauza hacia el corral. La inteligencia no está solo en los pesos. Está en el bucle que los envuelve.

🌱 Nosotros construimos el bucle. ¿De quién es entonces la respuesta?

El pensamiento nunca cambió: es la misma siguiente palabra, predicha una y otra vez. Lo único que añadimos fue el bucle: las herramientas, los turnos, la posibilidad de mirar atrás. Así que cuando el agente por fin hace algo real, ¿dónde vive la agencia: en el modelo, o en el bucle de retroalimentación que tejimos a su alrededor?