Por qué un modelo inventa cosas — y suena tan seguro al hacerlo. · Source

Puede describir algo que nunca estuvo ahí — y sonar totalmente seguro.

Hazle una pregunta a un modelo y la respuesta sale fluida, detallada, segura de sí misma — aunque sea pura invención. Como un espejismo en el desierto: el brillo de agua sobre la carretera ardiente parece totalmente real, más nítido que el propio asfalto. Jurarías que está ahí. No hay agua. Ese estar-seguro-de-lo-que-no-existe tiene nombre: alucinación.

Nunca lo entrenaron para tener razón. Solo para sonar convincente.

\hat{\theta} = \arg\max_{\theta} \sum_{t} \log p_{\theta}(x_t \mid x_{<t})

El entrenamiento ajusta una sola cosa: hacer que la palabra que de verdad vino después sea lo más probable posible. Verdadero nunca entra en esa suma — solo probable. Como un loro: reproduce el sonido de una frase a la perfección sin entender nada de ella. La fluidez es toda la habilidad. La verdad nunca fue el objetivo.

Pregúntale lo que sea y cae una respuesta. No existe la casilla vacía.

Le des lo que le des, el motor de siguiente-token devuelve la continuación de mejor aspecto — por defecto, una respuesta completa y segura. Como una máquina de chicles: giras la manivela y siempre cae un caramelo. La ranura nunca queda vacía. 'No lo sé' no es lo primero que busca — busca lo que suene a respuesta.

Si solo se puntúa acertar, adivinar siempre gana a callar.

\mathbb{E}[\text{guess}] = p \cdot 1 + (1-p) \cdot 0 = p \;>\; 0 = \mathbb{E}[\text{abstain}]

Califícalo como un examen — +1 si acierta, 0 si falla, 0 en blanco — y un intento con cualquier probabilidad p de acertar gana p; el silencio no gana nada. Así que lo inteligente es siempre responder. Como un juego de aros: retener el aro suma cero, así que lo lanzas siempre. Lo calificamos para que farolee.

Entre los hechos que de verdad aprendió, rellena con lo plausible.

Pídele algo que solo sabe a medias e interpola — tapando el hueco con lo que sea que encaje en la forma. Una cita falsa impecable, una fecha equivocada pero creíble: sin costuras, e inventado. Como reparar un muro de piedra: si falta la pieza original, encajas la piedra que llene el hueco. El muro se sostiene. Esa piedra nunca formó parte de él.

Seguro no es lo mismo que correcto. Son dos ejes distintos.

P(\text{correct} \mid \hat{p} = c) = c

Un modelo puede ser seguro y consistente y aun así caer lejos de la verdad — sobre todo en hechos raros y poco familiares, donde está más seguro justo donde debería dudar. Estar calibrado significaría que sus respuestas con un 70% de seguridad aciertan el 70% de las veces. La realidad se desvía de esa línea. Como un grupo apretado de bochas — a metros del boliche: bellamente consistente, completamente errado.

La cura no es 'deja de adivinar.' Es cambiar lo que premiamos.

\mathbb{E}[\text{answer}] = p - \lambda(1-p) > 0 \iff p > \dfrac{\lambda}{1+\lambda}

La alucinación no es un fallo añadido — es la fluidez vista desde su punto ciego, el mismo adivinar fluido que le permite generalizar siquiera. El arreglo es el incentivo: haz que un error seguro cueste λ, y responder solo compensa cuando la confianza p supera el listón. Como saber cuándo retirarse: apuesta la mano fuerte, abandona la débil — deja de farolear en cada reparto.

🌱 Nunca le pagamos por detenerse. ¿Podemos culparlo por no hacerlo?

Le enseñamos que un intento fallido no cuesta nada y que 'no lo sé' no gana nada — así que siempre responde. Si la pausa honesta fuera la jugada premiada en vez de la castigada, ¿aprendería la misma máquina a decir no estoy seguro? ¿O la voz segura es sencillamente la única que le pedimos?