Como um preditor se torna um agente. · Source

Sozinho, só escreve a próxima palavra. Em um laço, ele age.

Um modelo de linguagem não pode fazer nada. Não pode consultar um preço, fazer uma soma ou abrir um arquivo — só prevê a próxima palavra e para. Como uma luva sobre a mesa: inerte por si só. Mas coloque-o em um laço — deixe-o agir, ver o que aconteceu e agir de novo — e o preditor vira alguém que faz. Esse laço é toda a ideia por trás de um agente.

Seu conhecimento congelou no dia em que o treino acabou.

Os pesos pararam de mudar quando o treino terminou. Então o modelo não tem sentidos nem mãos: pergunte o tempo de hoje e ele só pode adivinhar; peça para fazer as contas e ele só pode fingir. Como um navio dentro de uma garrafa: um mundo inteiro recriado em detalhe perfeito, selado no vidro — incapaz de tocar o mar que mostra. Para servir agora, precisa de um jeito de alcançar além do vidro.

A solução é um laço: pensar, agir, olhar, repetir.

a_t \sim \pi_\theta(\cdot \mid c_t),\quad o_t = \mathrm{env}(a_t),\quad c_{t+1} = c_t \oplus a_t \oplus o_t

Dê a ele um ciclo: raciocinar sobre o que fazer, tomar uma ação, ler o que o mundo devolveu como observação, e raciocinar de novo. Isto é ReAct. Em poucas palavras: o modelo propõe um lance a partir de tudo o que já foi escrito, o mundo responde, e essa resposta é somada à página que ele lerá em seguida. Como ajustar um encaixe: o marceneiro corta, junta as peças para ver a folga, desbasta e tenta de novo — fechando um encaixe justo pelo retorno, não por um golpe de sorte.

Ele nunca age de fato. Ele escreve um pedido — nós o executamos.

\Delta\theta = 0,\qquad a_t \sim p_\theta(\cdot \mid x_{<t}),\qquad o_t\ \text{clamped, not sampled}

O modelo não consegue alcançar fora de si. Ele só escreve um pedido — busque isto, calcule aquilo — como palavras comuns. Um invólucro o executa e cola o resultado de volta na transcrição. Como um tubo pneumático de mensagens: você escreve um bilhete, ele dispara, uma resposta dispara de volta — e você nunca sai da escrivaninha. Em poucas palavras: nada é treinado no meio do laço; o mesmo modelo congelado segue prevendo o próximo token, só que agora as respostas da ferramenta lhe são entregues, não inventadas.

Só pensar inventa. Só agir é cego.

p(\text{answer}\mid q)=\sum_{\tau} p(\text{answer}\mid q,\tau)\,p(\tau\mid q),\quad \tau=(a_1,o_1,\dots,a_T,o_T)

Raciocinar sem retorno desliza para uma ficção cheia de confiança; agir sem pensar é só se debater. Entrelace os dois: cada pensamento escolhe a próxima ação, e cada observação real corrige o próximo pensamento. Como bolinar contra o vento: você não pode velejar reto até a marca nem apenas vagar — você ziguezagueia, lendo o vento a cada bordo e reajustando, e a meta chega. Em poucas palavras: a resposta é construída sobre o caminho que o agente de fato percorreu, e como toda observação é real, um passo errado é flagrado, não acumulado.

Ele para quando diz 'pronto' — ou quando o orçamento acaba.

T = \min\bigl(B,\ \min\{\, t : a_t = \texttt{STOP} \,\}\bigr)

A maioria dos laços para sozinha: o modelo deixa de chamar ferramentas e escreve uma resposta final. Mas nem sempre — ele pode fixar-se, repetindo um lance falho, ou confiar numa observação errada e entrar em espiral. Como uma roda atolada na lama: gira no mesmo lugar para sempre se nada a detém. Por isso a limitamos com um orçamento de passos B. Em poucas palavras: pare no primeiro turno em que disser 'pronto', ou no turno B, o que vier primeiro — B é a coleira que garante o fim do laço.

Um preditor congelado, envolto em um laço, vira um agente.

Nada mudou dentro do modelo. E, ainda assim, um preditor da próxima palavra, com ferramentas e um laço, agora consegue planejar, agir, checar e corrigir seu caminho até uma meta que nunca recebeu de uma só vez. Como um cão pastor conduzindo um rebanho: o cão lê as ovelhas, dispara, lê de novo, ajusta — e todo o rebanho se afunila até o cercado. A inteligência não está só nos pesos. Está no laço que os envolve.

🌱 Nós construímos o laço. Então, de quem é a resposta?

O pensamento nunca mudou — é a mesma próxima palavra, prevista de novo e de novo. Tudo o que acrescentamos foi o laço: as ferramentas, os turnos, a chance de olhar para trás. Então, quando o agente enfim faz algo real, onde mora a agência — no modelo, ou no laço de retorno que tecemos ao seu redor?