Como um modelo gigante aprende a sua tarefa treinando quase nada. · Source

Adapte um modelo gigante treinando um fragmento que caberia num e-mail.

O ajuste fino completo mexe em todos os pesos de um modelo que tem bilhões deles — e guarda uma cópia inteira para cada nova tarefa. Você não tem como manter uma dúzia dessas. O LoRA congela o gigante e treina, em vez disso, um pequeno acréscimo: leve o bastante para caber num e-mail, ser trocado e empilhado. O mesmo modelo por baixo, uma habilidade nova em folha, quase nada salvo.

O jeito antigo retreina tudo — uma cópia nova por tarefa.

W_{\text{FT}} = W_0 + \Delta W, \quad \Delta W \in \mathbb{R}^{d \times k}

Para especializar um gigante, o ajuste fino clássico aprende uma mudança ΔW exatamente do mesmo tamanho dos pesos originais — cada um dos seus d×k números livre para se mover. Faça isso para dez tarefas e você guarda dez modelos inteiros. Como reimprimir o atlas inteiro para redesenhar uma única rua: a mudança é mínima, mas você refaz o livro todo.

Primeiro passo: não toque no gigante de jeito nenhum.

h = W_0 x + \Delta W x, \quad W_0 \;\text{frozen}

O LoRA deixa os pesos pré-treinados congelados — nenhum deles aprende. A saída continua sendo a resposta do próprio gigante, mais uma pequena correção à parte que você de fato treina. Como uma folha de acetato transparente sobre uma planta baixa: o desenho de baixo nunca muda; você risca as suas edições na folha sobreposta.

Segundo passo: faça essa correção ser simples.

\Delta W = B A, \quad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k},\ \ r \ll \min(d,k)

Eis o truque: force a mudança a ser de posto baixo. Em vez de um bloco d×k completo, escreva ΔW = B·A — duas matrizes magras que compartilham uma cintura estreita de largura r, bem menor que qualquer dos lados. Como uma marionete: apenas alguns fios movem a figura inteira e desengonçada. A grande atualização tem, na verdade, só um punhado de puxões independentes.

Agora conte o que você de fato treina.

r(d+k) \;\ll\; d\,k

Uma atualização completa são d×k números. Duas matrizes magras são só r(d+k). Para uma camada de 12288 de largura com r = 8, isso é centenas de vezes menos — todo um ajuste de modelo encolhido a um fragmento que você guarda às dúzias. Como os poucos ajustes de um alfaiate: ninguém costura um terno novo, um punhado de pontos torna seu o de prateleira.

Comece sem acrescentar nada e entre aos poucos.

h = W_0 x + \frac{\alpha}{r} B A x, \qquad B = 0,\ \ A \sim \mathcal{N}(0,\sigma^2)\ \ \text{(at init)}

Como começar com segurança? Faça B = 0 e preencha A com um pouco de ruído aleatório, para que o acréscimo comece em exatamente zero — no primeiro passo você se comporta como o gigante intocado. Depois o treino vai inserindo a correção, suavemente escalonada por α/r. Como as luzes do palco subindo a partir do breu: nada é acrescentado no início, e então a nova cena chega devagar, nunca de um golpe.

Quando roda, o acréscimo desaparece.

W = W_0 + \frac{\alpha}{r} B A

Depois de treinadas, dobre as duas matrizes magras de volta para dentro da grande. O modelo volta a ser uma única matriz — zero trabalho extra na hora de rodar, nem um pouco mais lento que o original. E como cada habilidade é apenas o seu próprio pequeno B·A, um gigante congelado pode vestir muitas delas. Como uma furadeira com uma bandeja de brocas: mantenha o motor e encaixe uma ponta diferente para cada trabalho.

🌱 Se a nova habilidade é tão pequena, quem já a sabia?

A mudança que transforma um gigante generalista no seu especialista é espantosamente pequena — algumas tiras finas de números. O que deixa uma pergunta silenciosa: foi você que acrescentou a nova habilidade, ou o gigante já a guardava, esperando que alguns fios a puxassem para fora? Talvez o ajuste fino não ensine — ele revela.