Cómo un modelo pequeño hereda la destreza de un gigante. · Source

Un modelo pequeño puede hacer el trabajo de un gigante, si aprende del gigante.

El mejor modelo suele ser demasiado grande para usarlo donde hace falta: demasiado lento, demasiado caro. Así que lo encogemos. Pero el truco es este: el pequeño no aprende de los datos. Aprende del gigante mismo. Cómo sopesa una decisión el maestro enseña más que cualquier clave de respuestas.

La clave de respuestas es un maestro torpe.

\mathbf{y} = \mathbf{e}_c,\qquad y_i = \mathbb{1}[\,i = c\,] \in \{0,1\}

Una etiqueta simple dice una palabra — 'perro' — y marca todo lo demás como igual de equivocado: lobo y reloj reciben el mismo cero. En pocas palabras, el objetivo es 1 en la respuesta correcta y 0 en todas las demás: sin margen para decir 'casi.' Como una clasificadora de monedas: guarda una y barre el resto a una única bandeja de descarte, lo casi idéntico y lo ajeno juntos.

El gigante no dice 'perro.' Dice cuán seguro está.

p_i = \dfrac{e^{z_i}}{\sum_j e^{z_j}}

Pregunta al gigante y obtienes una distribución: 92% perro, 7% lobo, 1% coche. Esa forma es un mapa oculto: muestra que perro está junto a lobo y lejos de coche. Las respuestas erróneas llevan la lección. Como un juego de herraduras: cuenta la que enlaza el poste, pero también ves cuáles cayeron cerca y cuáles muy lejos. En pocas palabras, las puntuaciones crudas z se vuelven un abanico de probabilidades, no un solo ganador.

Sube el calor para oír los susurros.

p_i^{(T)} = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}}

Esa pista del 1% es demasiado tenue para aprender de ella. Así que suaviza la distribución: divide cada puntuación por una temperatura T antes de formar las probabilidades. Sube T por encima de 1 y las conjeturas débiles se vuelven audibles. Como entibiar una copa de brandy: un poco de calor eleva los aromas delicados que en frío jamás notarías. En pocas palabras, una T mayor aplana la curva y deja que importen las probabilidades pequeñas.

Ahora el pequeño copia toda la curva.

\mathcal{L}_{\text{soft}} = -\sum_i p_i^{(T)} \log q_i^{(T)} = D_{\mathrm{KL}}\!\left(p^{(T)} \,\|\, q^{(T)}\right) + H\!\left(p^{(T)}\right)

Entrena al estudiante para igualar la distribución suavizada del maestro: no la respuesta a secas, sino la forma entera, punto por punto. Como cortar una copia de llave: se lima un duplicado en bruto para seguir cada cresta del original, muesca por muesca. En pocas palabras, la conjetura suavizada q del estudiante se arrastra hasta la p del maestro; como la parte del maestro es fija, cerrar la brecha es solo reducir la divergencia entre ambas curvas.

Confía en el maestro, pero mantén un pie en la verdad.

\mathcal{L} = \alpha\,T^2\,\mathcal{L}_{\text{soft}} + (1-\alpha)\,\mathcal{L}_{\text{hard}}

Copia al gigante con demasiada servidumbre y heredarás también sus errores. Así que combina: pesa α hacia la lección suave y (1−α) hacia la respuesta real y dura. Un matiz: multiplica la parte suave por T², porque suavizar redujo su tirón en exactamente esa medida. Como escalar atado a un puntero y a un anclaje: estírate hacia quien va delante, pero sigue sujeto a la roca firme de abajo.

$Una fracción del tamaño. Casi toda la destreza.$

Una fracción del tamaño. Casi toda la destreza.

C_{\text{token}} \approx 2P \;\Rightarrow\; \dfrac{C_{\text{student}}}{C_{\text{teacher}}} \approx \dfrac{P_{\text{student}}}{P_{\text{teacher}}} \ll 1

El resultado es un modelo que de verdad puedes ejecutar —la décima parte del peso, la décima parte del coste por palabra— con casi la destreza del gigante. No por haber visto más datos, sino por heredar cómo el gigante sopesa el mundo. Como un alambique: una cuba entera de mosto reducida a una botellita —mucho menos volumen, el mismo carácter, concentrado. En pocas palabras, el coste por palabra sigue al número de parámetros P, así que una décima parte de los parámetros cuesta cerca de una décima parte.

Aprendió las dudas, no solo las respuestas.

🌱 El pequeño aprendió mejor de las vacilaciones del gigante —el 7% lobo, el 1% coche—, de todo lo que una sola respuesta segura deja fuera. Entonces, ¿qué sabe de verdad cualquier maestro que jamás cabe en una única respuesta? Y si la lección fue la duda desde el principio, ¿qué oculta en silencio una respuesta limpia y segura?