Cómo un modelo funciona en cuatro bits sin desmoronarse. · Source

Tira tres de cada cuatro bits: apenas lo nota.

Un modelo entrenado son miles de millones de números largos y exactos. La cuantización redondea cada uno a otro mucho más tosco —de dieciséis bits a cuatro— y aun así responde casi igual. Como un bonsái: la silueta entera de un gran árbol, guardada en una fracción de la madera. La ventaja es real: un modelo que llenaba un servidor ahora cabe en una fracción del hardware.

El costo no es pensar. Es acarrear los números.

M = \dfrac{P \cdot b}{8}\ \text{bytes}

Para escribir cada palabra, el modelo saca de la memoria cada uno de sus miles de millones de pesos —y otra vez para la palabra siguiente—. El cuello de botella no es el cálculo; es el traslado. Como mudanceros subiendo una casa por las escaleras: el trabajo es cargar, viaje tras viaje, no decidir dónde va cada cosa. La cuenta es solo cantidad por tamaño: siete mil millones de pesos a dieciséis bits son catorce gigabytes; a cuatro bits, tres y medio.

La jugada: ajusta cada número al peldaño más cercano.

q = \mathrm{round}\!\left(\dfrac{x}{s}\right), \qquad \hat{x} = s\,q

Descarta el valor suave de dieciséis bits; quédate solo con el peldaño más cercano de una escalera corta, guardado como un entero diminuto. Como las tallas de zapato: los pies varían por un pelo, pero las existencias vienen en unas pocas tallas fijas, así que cada pie toma la más cercana. En palabras llanas: divide por el paso, redondea a un número entero —ese entero es todo lo que guardas— y luego multiplica de vuelta para usarlo.

¿Dónde van los peldaños? Fíjalos por el número más grande.

s = \dfrac{\max_i |x_i|}{2^{\,b-1} - 1}

¿Cuán ancho es cada paso? Toma el peso más grande, deja que caiga en el peldaño más alto y reparte el resto de forma pareja hasta cero. Como cortar una tabla en listones iguales: pide más y cada listón es más fino; menos, y cada uno es más tosco. El costo de pocos bits es claro: cuatro bits compran solo siete peldaños a cada lado del cero; dieciséis bits compran más de treinta mil.

Por qué sobrevive: los números se apiñan, cada uno apenas se mueve.

\lvert x - \hat{x}\rvert \le \dfrac{s}{2}

Funciona porque los pesos entrenados no están dispersos: casi todos se apiñan cerca del cero. Una escalera corta ajustada a ese apiñamiento atrapa casi todos, y el redondeo mueve cada uno como mucho medio paso. Como un banco-cebo: todo el cardumen se aprieta en una esfera apretada, el agua a su alrededor vacía, así que pones tus pocas marcas donde de verdad están los peces. A lo largo de miles de millones, los pequeños excesos y defectos se cancelan.

Un solo valor atípico gigante lo arruina para todos.

s_g = \dfrac{\max_{i \in g} |x_i|}{2^{\,b-1} - 1}

Pero unos pocos pesos son monstruos: mucho más grandes que el resto. Ajusta la escalera a uno de esos monstruos y todo el apiñamiento se desploma sobre un solo peldaño, sin ningún detalle. El arreglo: no compartas una sola escalera; divide los pesos en grupos pequeños, cada uno con su propio paso ajustado a su mayor valor. Como una secuoya gigante sobre arbolitos: mide todo por la secuoya y cada arbolito marca cero, así que mides los pequeños en su propia escala.

Un cuarto de los bits. Casi la misma mente.

\dfrac{M_{16}}{M_{4}} = \dfrac{16}{4} = 4\times

Júntalo todo: un gigante de dieciséis bits corre en cuatro bits, un cuarto de la memoria, casi las mismas respuestas. Lo que llevaba el conocimiento era el patrón de los pesos —cuál se inclina hacia dónde, cómo se relacionan—, no sus últimos decimales finos. Como un títere de sombras: aplana un ciervo a una simple silueta negra, sin color, sin textura, y sigue siendo, inconfundiblemente, un ciervo.

Si tres cuartas partes eran prescindibles, ¿para qué estaban?

Quemamos doce de cada dieciséis bits y el modelo nunca los echó de menos. ¿Eran entonces desperdicio, peso muerto desde el principio? ¿O era esa holgura el espacio mismo que necesitó mientras aprendía, un andamio que puedes retirar una vez que el edificio se sostiene? 🌱 ¿Cuánto de una mente es estructura que sostiene, y cuánto es solo el espacio en que creció?