Por que 'pense passo a passo' compra precisão de verdade. · Source

Mesmo modelo, mesma pergunta. Solta: errado. Pensa antes: certo.

Faça uma pergunta difícil e um modelo muitas vezes solta uma resposta — rápida, fluente, errada. Acrescente quatro palavras — pense passo a passo — e o mesmo modelo, sem mudança nenhuma, acerta. Sem novo treino, sem novos dados. Ele apenas escreveu seu raciocínio antes da resposta. Por que falar consigo mesmo primeiro o deixa mais esperto?

Tem uma só chance por palavra — fácil ou difícil, o mesmo esforço.

C_{\text{token}} \approx 2N

Cada palavra vem de uma única passada para a frente — um bloco fixo de computação, o mesmo para '2+2' ou para um enigma de cinco passos. Em palavras simples, uma palavra custa cerca de 2N operações para N parâmetros, e isso nunca se ajusta à pergunta. Como malabarismo: algumas bolas ficam no ar, mas jogue uma a mais e todas se espalham. Um problema difícil não cabe num só arremesso.

Então deixe-o pensar em voz alta — e reler as próprias palavras.

C_{\text{chain}} \approx 2N \cdot T

A saída: não force a resposta agora. Deixe o modelo escrever as contas, palavra por palavra — e cada palavra que escreve vira entrada que ele pode reler no passo seguinte. A página é sua memória de rascunho. Gaste T palavras de raciocínio e terá gasto T passadas inteiras: em palavras simples, escrever mais palavras é literalmente pensar mais. Como um ábaco: você não segura a soma na cabeça — põe nas contas e depois relê.

Uma cadeia escrita é só um caminho entre incontáveis.

p(a \mid q) = \sum_{r} p(a \mid q, r)\, p(r \mid q)

Nunca há um raciocínio — há toda uma nuvem de caminhos que poderiam chegar à resposta. A probabilidade honesta de acertar soma sobre todos eles; quando o modelo escreve uma única cadeia em voz alta, está tirando apenas um. Como um raio: o relâmpago poderia se ramificar de mil formas até o chão, mas só um caminho realmente dispara. O raciocínio que você lê é o caminho que por acaso atingiu.

Mas um passo ruim envenena todos os passos seguintes.

Pensar em voz alta vale o que valem os passos. Cada linha se apoia na anterior, então um único movimento errado não fica local — ele sustenta tudo o que vem depois, e a voz fluente nunca vacila. Como um castelo de cartas: cada carta se equilibra sobre a anterior, e uma carta um pouco torta derruba a torre inteira. Uma cadeia mais longa não é automaticamente mais verdadeira.

Então não confie em uma cadeia — gere várias e vote.

\hat{a} = \operatorname*{arg\,max}_{a} \sum_{i=1}^{k} \mathbf{1}[a_i = a]

O conserto é barato: faça a mesma pergunta várias vezes, cada uma com seu próprio raciocínio novo, e fique com a resposta que mais aparece. Caminhos independentes raramente cometem o mesmo erro, mas tendem a concordar na verdade. Como três estradas convergindo para uma só vila: qualquer rota sozinha pode se desviar, mas onde todas se encontram fica o lugar real. Chamamos isso de autoconsistência.

As palavras não são só a resposta — são a área de trabalho.

Junte tudo: um modelo que raciocina não está lembrando com mais força — está trabalhando no papel. Suas próprias palavras viram a sala em que ele pensa, e cada linha que escreve compra mais uma passada de computação que um único olhar jamais conseguiria conter. Como abrir massa: apertada na tábua ela rasga, mas dê espaço e tudo se ajunta. Dê a um modelo lugar para trabalhar e ele alcança o que um só fôlego nunca alcançaria.

Ele mostrou as contas. Mas as contas levaram à resposta?

Aqui o incômodo: a cadeia que ele escreve parece seu raciocínio — mas um rastro só mostra por onde algo passou, não por quê. A resposta real pode se formar primeiro, e os passos arrumados serem postos depois para justificá-la. Então qual é o pensamento — o caminho na página, ou algo que nunca chegamos a ver? 🌱