Cómo una sola tabla lee cada palabra al entrar — y la escribe al salir. · Source

Una tabla lee cada palabra al entrar. La misma la escribe al salir.

Un modelo guarda una tabla gigante que convierte cada palabra en un vector: su forma de leer. Para hablar, necesita lo contrario: un vector convertido de nuevo en palabra. El truco silencioso es que pueden ser la misma tabla, usada en ambos sentidos. Weight tying: leer y escribir una palabra a través de un único mapa compartido.

Normalmente carga dos tablas gigantes, no una.

E \in \mathbb{R}^{V \times d}, \qquad U \in \mathbb{R}^{V \times d}

Leer usa una tabla con una fila por palabra: tan alta como todo el vocabulario V, tan ancha como el modelo d. Escribir necesita su espejo, otra tabla V×d, para puntuar cada palabra candidata. Entrenadas por separado, son dos gigantes distintos haciendo tareas reflejadas. Como un mozo que carga dos baúles idénticos: el mismo contenido, el doble de peso, ambos que cargar y conservar.

Pero es un solo vocabulario. Así que hazlo una sola tabla.

\text{in: } x = e_t \qquad \text{out: } z_i = e_i^{\top} h \qquad \text{tie: } U = E

Ambas tareas tocan las mismas palabras, así que deja que una tabla sirva para las dos. El vector e que lee una palabra al entrar se vuelve el patrón con que se la puntúa al salir: la puntuación de una palabra es solo su vector multiplicado con el pensamiento en curso h. Iguala la tabla de escritura a la de lectura: ese es el amarre. Como un diapasón: golpéalo para dar la nota, acércalo a una cuerda para detectar esa misma nota.

Una predicción es solo: ¿qué vector se alinea mejor?

z_i = e_i^{\top} h = \lVert e_i \rVert \, \lVert h \rVert \cos\theta_i

Amarra las tablas y la predicción se vuelve geométrica. La puntuación de una palabra es la alineación de su vector con el pensamiento actual: grande cuando apuntan igual, casi nula cuando no. Para elegir la siguiente palabra, busca el vector que más se alinee. Como una veleta: gira hasta quedar a favor del viento, y la dirección que prefiere gana.

Cuenta lo que ahorras: media tabla desaparece.

\underbrace{2Vd}_{\text{untied}} \;\longrightarrow\; \underbrace{Vd}_{\text{tied}}

Dos tablas de V×d números se vuelven una. Para un vocabulario de 50.000 palabras y un modelo de ancho 768, eso son unos 38 millones de números menos: cerca de un tercio de un modelo pequeño. Y un extra: el sentido de entrada y de salida de una palabra no puede separarse, porque son los mismos números. Como una sola tubería maestra que abastece una casa en vez de dos cañerías paralelas: la mitad de excavación, una sola presión compartida.

Leer y escribir no son del todo la misma tarea.

La pega honesta: el mejor espacio para entender una palabra y el mejor para predecirla están emparentados, no son idénticos. Forzarlos a ser iguales es un sesgo fuerte y útil —menos perillas, menos sobreajuste— pero gasta algo de flexibilidad. Algunos modelos siguen amarrados pero añaden un pequeño ajuste aprendido. Como una sola llave para muchos pernos: sirve para la gran mayoría, y de vez en cuando un perno pide un adaptador fino.

Un solo mapa de significado, leído en ambos sentidos.

Así el modelo lleva una única geografía de las palabras. Para leer, consulta dónde se sitúa una palabra; para escribir, pregunta a qué lugar está más cerca su pensamiento. El mismo mapa, recorrido en dos sentidos: construido una vez, sirviendo a ambas mitades del lenguaje. Como un puente cuyo único tablero lleva el tráfico en los dos sentidos: no levantas un segundo vano para volver a casa.

Si leer y hablar comparten una sola dirección…

Cuando el lugar donde una palabra se entiende es el mismo desde el que se pronuncia, la línea entre recibir una palabra y devolverla se adelgaza. 🌱 ¿De verdad distingue el modelo saber una palabra de decirla? ¿O son, en el fondo, un mismo movimiento leído de ida y de vuelta?