Cómo un modelo gigante aprende tu tarea entrenando casi nada. · Source

Adapta un modelo gigante entrenando una astilla que cabría en un correo.

El ajuste fino completo modifica todos los pesos de un modelo que tiene miles de millones — y guarda una copia entera por cada tarea nueva. No puedes tener una docena de esas. LoRA congela al gigante y entrena en su lugar un pequeño añadido: tan ligero que cabe en un correo, se intercambia y se apila. El mismo modelo debajo, una habilidad nueva, casi nada guardado.

El método antiguo reentrena todo — una copia nueva por tarea.

W_{\text{FT}} = W_0 + \Delta W, \quad \Delta W \in \mathbb{R}^{d \times k}

Para especializar a un gigante, el ajuste fino clásico aprende un cambio ΔW del mismo tamaño exacto que los pesos originales — cada uno de sus d×k números libre de moverse. Hazlo para diez tareas y guardas diez modelos enteros. Como reimprimir el atlas entero para redibujar una sola calle: el cambio es mínimo, pero rehaces el libro completo.

Primer movimiento: no toques al gigante en absoluto.

h = W_0 x + \Delta W x, \quad W_0 \;\text{frozen}

LoRA deja los pesos preentrenados congelados — ni uno solo aprende. La salida sigue siendo la respuesta del propio gigante, más una pequeña corrección aparte que sí entrenas. Como una lámina de acetato transparente sobre un plano: el dibujo de debajo nunca cambia; tus ediciones las trazas en la lámina de encima.

Segundo movimiento: haz que esa corrección sea simple.

\Delta W = B A, \quad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k},\ \ r \ll \min(d,k)

Aquí está el truco: obliga a que el cambio sea de rango bajo. En vez de un bloque d×k completo, escribe ΔW = B·A — dos matrices flacas que comparten una cintura estrecha de ancho r, mucho menor que cualquiera de los lados. Como una marioneta: apenas unos pocos hilos mueven toda la figura entera. La gran actualización tiene en realidad solo un puñado de tirones independientes.

Ahora cuenta lo que de verdad entrenas.

r(d+k) \;\ll\; d\,k

Una actualización completa son d×k números. Dos matrices flacas son solo r(d+k). Para una capa de 12288 de ancho con r = 8, eso es cientos de veces menos — todo un ajuste de modelo reducido a una astilla que guardas por docenas. Como los pequeños retoques de un sastre: nadie cose un traje nuevo, un puñado de puntadas hace tuyo el de percha.

Arráncalo sin añadir nada, y luego entra poco a poco.

h = W_0 x + \frac{\alpha}{r} B A x, \qquad B = 0,\ \ A \sim \mathcal{N}(0,\sigma^2)\ \ \text{(at init)}

¿Cómo empezar sin riesgo? Pon B = 0 y llena A con un poco de ruido aleatorio, de modo que el añadido arranque en exactamente cero — en el primer paso te comportas como el gigante intacto. Luego el entrenamiento va metiendo la corrección, escalada con suavidad por α/r. Como las luces del escenario subiendo desde el negro: al principio no se añade nada, y luego la nueva escena llega despacio, nunca de golpe.

Cuando se ejecuta, el añadido desaparece.

W = W_0 + \frac{\alpha}{r} B A

Una vez entrenadas, pliega las dos matrices flacas de vuelta dentro de la grande. El modelo vuelve a ser una sola matriz — cero trabajo extra al ejecutarse, ni un ápice más lento que el original. Y como cada habilidad es solo su propio pequeño B·A, un gigante congelado puede llevar muchas. Como un taladro con una bandeja de brocas: conservas el motor y encajas una punta distinta para cada trabajo.

🌱 Si la nueva habilidad es tan pequeña, ¿quién ya la sabía?

El cambio que convierte a un gigante generalista en tu especialista es asombrosamente pequeño — unas pocas tiras finas de números. Lo que deja una pregunta callada: ¿añadiste tú la nueva habilidad, o ya la tenía el gigante, esperando que unos hilos la sacaran a la luz? Quizá el ajuste fino no enseña — revela.