Cómo un modelo pequeño propone y uno grande solo verifica: las mismas palabras, mucho más rápido. · Source

El modelo grande escribe una palabra a la vez. ¿Y si no tuviera que hacerlo?

Un modelo gigante es lento por una sola razón: escribe una palabra a la vez, y cada una es un viaje completo por miles de millones de parámetros. Como un maestro que entinta sobre un boceto a lápiz: deja que una mano rápida esboce las próximas palabras, y el maestro solo confirma los trazos buenos y corrige el resto. La misma línea final, trazada en una fracción del tiempo.

¿Por qué tan lento? Cada palabra debe esperar a la anterior.

\text{latency}\approx n\times t_{\text{pass}}

El gigante no puede adelantarse a sí mismo. Para escribir la palabra diez necesita la nueve, y la nueve necesitaba la ocho: un solo hilo, sin saltos. Como tender un puente de tablones: solo puedes clavar el siguiente tablón parado sobre el anterior. Así, n palabras son n viajes completos por el gigante, estrictamente uno tras otro, y el chip pasa casi todo el viaje solo esperando.

Primer paso: deja que un modelo pequeño y rápido adivine las próximas palabras.

Trae un modelo peso pluma: mucho más pequeño, mucho más rápido, a menudo acertado. Deja que adivine el próximo puñado de palabras en un parpadeo. Como un ciclista en fuga: un corredor ligero se lanza por delante del pelotón y anuncia el camino. Las conjeturas son baratas y a veces erróneas; no pasa nada. Son solo una propuesta, a la espera de revisión.

El truco: el gigante revisa todas las conjeturas en una sola pasada.

T_{\text{check}}(\gamma{+}1)\approx T_{\text{pass}}(1)

Aquí está lo que lo hace rentable. Una sola pasada del gigante puede puntuar toda una fila de posiciones a la vez —las γ conjeturas más su propia palabra siguiente— casi por el precio de puntuar una. Como un socorrista en la torre: un barrido de la vista abarca toda la playa abarrotada. ¿Por qué casi gratis? Lo lento es subir los pesos del gigante al chip, no la aritmética, así que unas pocas palabras de más viajan casi sin coste.

La regla: conserva cada conjetura mientras el gigante esté de acuerdo.

\text{keep } x\sim q \ \text{ with probability } \ \min\!\left(1,\ \frac{p(x)}{q(x)}\right)

Recorre las conjeturas de izquierda a derecha. Sea p la probabilidad del gigante para una palabra y q la del borrador. Conserva la conjetura sin más cuando al gigante le gusta al menos tanto (p ≥ q); cuando le gusta menos, consérvala solo p/q de las veces. La primera que falla: detente y descarta el resto. Como una cremallera: los dientes encajan suavemente uno a uno y luego se traban en seco en el primero desalineado.

La magia: una conjetura rechazada se corrige, no solo se descarta.

p'(x)=\dfrac{\big(p(x)-q(x)\big)_+}{\sum_{x'}\big(p(x')-q(x')\big)_+},\qquad \min\big(p,q\big)+\big(p-q\big)_+=p

Cuando una conjetura se rechaza, el gigante no se detiene: muestrea un reemplazo justo de la brecha entre lo que él quería y lo que ofreció el borrador. Suma esa corrección y cae un pequeño milagro: cada palabra emitida queda distribuida exactamente como la habría producido el gigante por sí solo. Como el agua en un tubo en U: rellena el lado bajo y el nivel se asienta justo en la marca verdadera. Más rápido y, sin embargo, demostrablemente sin pérdida, no una aproximación.

La recompensa: varias palabras por cada pasada del gigante.

\mathbb{E}[\#\text{tokens}]=\frac{1-\alpha^{\,\gamma+1}}{1-\alpha}

Cuenta las ganancias. Si el borrador propone γ palabras y acierta una fracción α de las veces, una pasada del gigante rinde, en promedio, esta cantidad de palabras. Cuando el modelo pequeño suele acertar, recoges cerca de γ+1 palabras por revisión; cuando suele fallar, simplemente vuelves a una, nunca peor. Como rebotar una piedra plana: un solo lanzamiento toca el agua una y otra vez. Una pasada, varias palabras.

🌱 Dos mentes trazaron el camino. ¿Dónde ocurrió la decisión?

El adivinador veloz y el gigante lento, juntos, producen exactamente las palabras que el gigante habría escrito solo. Entonces, ¿cuál de los dos pensaba? Como dos senderos que se funden en uno: el camino que recorres es único y firme, y sin embargo lo trazaron dos. Si una conjetura rápida y un asentimiento atento dan la misma respuesta que la mente atenta por sí sola, ¿dónde, en todo esto, estuvo el elegir: en el salto, o solo en la comprobación?