Por que um modelo inventa coisas — e parece tão seguro ao fazê-lo. · Source

Ele consegue descrever algo que nunca esteve lá — e parecer ter certeza.

Faça uma pergunta a um modelo e a resposta sai fluente, detalhada, segura de si — mesmo quando é pura invenção. Como uma miragem no deserto: o reflexo de água na estrada quente parece totalmente real, mais nítido que o próprio asfalto. Você juraria que está lá. Não há água. Essa certeza sobre o que não existe tem um nome: alucinação.

Ele nunca foi treinado para estar certo. Só para soar certo.

\hat{\theta} = \arg\max_{\theta} \sum_{t} \log p_{\theta}(x_t \mid x_{<t})

O treino ajusta uma só coisa: tornar a palavra que de fato veio em seguida o mais provável possível. Verdadeiro nunca entra nessa soma — só provável. Como um papagaio: reproduz o som de uma frase com perfeição sem entender nada dela. A fluência é a habilidade inteira. A verdade nunca foi o alvo.

Pergunte qualquer coisa e uma resposta cai. Não existe compartimento vazio.

Dê o que der a ele, o motor de próximo-token devolve a continuação de melhor aparência — por padrão, uma resposta completa e confiante. Como uma máquina de chicletes: gire a manivela e uma bala sempre cai. A calha nunca fica vazia. 'Não sei' não é o que ele busca primeiro — ele busca o que soa como a resposta.

Pontuado só por acertar, um palpite sempre vence o silêncio.

\mathbb{E}[\text{guess}] = p \cdot 1 + (1-p) \cdot 0 = p \;>\; 0 = \mathbb{E}[\text{abstain}]

Avalie como um teste — +1 certo, 0 errado, 0 em branco — e um palpite com qualquer chance p de acertar rende p; o silêncio não rende nada. Então o esperto é sempre responder. Como um jogo de argolas: segurar a argola marca zero, então você lança toda vez. Nós o avaliamos para blefar.

Entre os fatos que realmente aprendeu, ele preenche com o plausível.

Peça algo que ele só sabe pela metade e ele interpola — tapando a lacuna com o que quer que encaixe no formato. Uma referência falsa impecável, uma data errada mas crível: sem emendas, e inventada. Como remendar um muro de pedras: sumida a peça original, você encaixa a pedra que preenche o buraco. O muro se sustenta. Aquela pedra nunca fez parte dele.

Ter certeza não é o mesmo que estar certo. São dois eixos diferentes.

P(\text{correct} \mid \hat{p} = c) = c

Um modelo pode ser confiante e consistente e ainda assim cair longe da verdade — principalmente em fatos raros e pouco familiares, onde está mais seguro justamente onde deveria hesitar. Estar calibrado significaria que suas respostas com 70% de certeza acertam 70% das vezes. A realidade se desvia dessa linha. Como um grupo apertado de bolas — a metros do bolim: lindamente consistente, completamente fora.

A cura não é 'pare de adivinhar.' É mudar o que recompensamos.

\mathbb{E}[\text{answer}] = p - \lambda(1-p) > 0 \iff p > \dfrac{\lambda}{1+\lambda}

A alucinação não é um defeito acoplado — é a fluência vista pelo seu ponto cego, o mesmo palpitar fluido que permite que ele generalize, afinal. O conserto é o incentivo: faça um erro confiante custar λ, e responder só compensa quando a confiança p passa da marca. Como saber a hora de desistir: aposte a mão forte, abandone a fraca — pare de blefar a cada rodada.

🌱 Nunca o pagamos para pausar. Podemos culpá-lo por nunca pausar?

Ensinamos a ele que um palpite errado não custa nada e que 'não sei' não rende nada — então ele sempre responde. Se a pausa honesta fosse a jogada recompensada em vez da punida, será que a mesma máquina aprenderia a dizer não tenho certeza? Ou a voz confiante é simplesmente a única que algum dia lhe pedimos?