Cómo el vector final de un modelo se convierte en una palabra — y cómo le leemos la mente. · Source

El último movimiento del modelo es el que nunca miramos.

Recorre toda una red y cada palabra termina como un solo vector: un único punto. El movimiento final convierte ese punto en una apuesta segura sobre cada palabra que conoce. Rara vez miramos. Pero ese movimiento puede leerse no solo arriba, sino en cada piso del camino — y ahí es donde el pensamiento de un modelo se vuelve algo que de verdad puedes ver.

Un vector, desplegado en una puntuación para cada palabra.

z = W_U\,x,\quad W_U \in \mathbb{R}^{V\times d}\qquad z_i = \langle w_i,\, x\rangle = \lVert w_i\rVert\,\lVert x\rVert\cos\theta_i

Toma ese vector final y multiplícalo por la unembedding: una gran tabla con una fila por palabra. Sale un número, un logit, para cada palabra. Cada fila es a su vez una dirección en el mismo espacio, así que la puntuación de una palabra es cuánto apunta hacia ella el vector. Como una brújula en un círculo de señales: gana el poste al que la aguja apunta de lleno. Luego softmax, como siempre, convierte las puntuaciones en probabilidades.

Muchas veces la misma tabla mete palabras y las nombra de vuelta.

W_U = E^{\top}\quad\Rightarrow\quad z_i = \langle e_i,\, x\rangle

¿De dónde sale esa tabla? Muchos modelos simplemente reutilizan el diccionario de entrada: la misma matriz que convirtió cada palabra en un vector, ahora usada al revés para puntuar una. Así, el logit de una palabra es cuánto se parece el vector final a su propio embedding. Una tabla, ambos sentidos. Como una llave que cierra y abre: mete el sentido, y vuelve a sacarlo. (No todos los modelos las atan — algunos guardan dos.)

Apunta ese lector a cada piso, no solo al de arriba.

p^{(\ell)} = \mathrm{softmax}\!\left(W_U\,\mathrm{LN}\!\left(x^{(\ell)}\right)\right)

Aquí está el truco. Cada capa escribe en el mismo vector compartido, en el mismo idioma — así que el lector hecho para arriba funciona en cualquier piso. Aplica la unembedding al vector a media altura y obtienes la conjetura provisional del modelo a esa profundidad. Como un ascensor de cristal: lee cada piso a través de la pared mientras subes. Este vistazo en cada capa es el logit lens.

Pasa la lente y la respuesta aparece pronto.

Observa los borradores y aparece algo asombroso: la palabra final a menudo queda fijada mucho antes de arriba. Los pisos del medio se deciden por ella; los de arriba la hacen sobre todo más segura, no distinta. El pensamiento termina pronto; lo demás es pulido. Como una foto instantánea revelándose: la imagen se reconoce mucho antes de estar del todo nítida. (Es el patrón común, no una ley — los tokens difíciles pelean hasta el final.)

La lente hace un poco de trampa. Así que pulimos una más nítida.

p^{(\ell)} = \mathrm{softmax}\!\left(W_U\left(A_\ell\,x^{(\ell)} + b_\ell\right)\right)

Una pega: el truco supone que cada piso ya habla el idioma del de arriba. Los primeros pisos no, así que sus borradores pueden leerse como un sinsentido. El arreglo aprende un diminuto traductor por piso: un pequeño girar-y-desplazar que reescribe cada vector al idioma final antes de leerlo. Como las gafas equivocadas y luego la graduación correcta: la misma página, de pronto enfocada. Esto es el tuned lens.

El último paso no es una nota al pie. Es una ventana.

\ell^{*} = \min\left\{\ell : \max_i\, p^{(\ell)}_i \ge \tau\right\}

Así que la proyección de salida es más que fontanería. Apúntala hacia dentro y el estado oculto de un modelo se vuelve legible: ves aflorar un hecho, endurecerse una decisión, asomar un paso en falso. Incluso puedes bajarte antes: en cuanto un piso está bastante seguro, deja de subir. Como un bote de fondo de cristal: lee las profundidades sin zambullirte. El mapa de salida era una ventana desde el principio.

Sabía la palabra hace varios pisos. ¿Y qué vino después?

Si la respuesta ya se lee a media subida, ¿para qué sirven los pisos de arriba? Quizá no estén encontrando la palabra — quizá estén sopesando las que no dirá, matizando, comprobando, disuadiéndose. Una mente que decide pronto y sigue subiendo igual. 🌱 ¿El resto de la subida es el pensamiento — o la duda?