Como um modelo abriga muitos especialistas — e desperta apenas alguns. · Source

Um modelo pode abrigar cem mentes — e despertar só algumas por palavra.

Imagine um modelo que abriga o conhecimento de cem especialistas ao mesmo tempo. O truque: para uma única palavra, quase todos seguem adormecidos. Alguns despertam, dão sua resposta, e o resto nunca dispara. Como um galpão imenso: fileiras de prateleiras sumindo no escuro, e você acende a luz sobre apenas um corredor. Enorme de guardar — barato de usar.

Normalmente, cada palavra paga por todos os parâmetros, sem exceção.

C_{\text{token}} \approx 2P

Num modelo denso comum, cada palavra atravessa todos os pesos — cada um acionado, toda vez. O custo por palavra fica em torno de duas operações para cada parâmetro que você tem, então um modelo mais esperto é um modelo mais caro, em compasso. Capacidade e custo estão soldados. Como uma orquestra inteira: o conjunto todo toca a plenos pulmões — mesmo para uma única nota suave.

A solução começa: não um grande bloco, mas muitos pequenos.

Pegue aquele único bloco grande de processamento e quebre-o em muitos menores — chame-os de especialistas. Cada um é livre para derivar para uma especialidade: um pende para o código, outro para a gramática, outro para os números. Ninguém atribui a divisão — ela emerge do treino. Como o painel de ferramentas de um artesão: não um único aparelho que faz tudo, mas uma parede de ferramentas dedicadas, cada uma excelente na sua tarefa estreita.

Um pequeno roteador lê cada palavra e escolhe alguns especialistas.

g = \operatorname{softmax}(x W_g), \qquad y = \sum_{i \in \operatorname{TopK}(g,\,k)} g_i\, E_i(x)

Rodar todos os especialistas estragaria a ideia. Então um pequeno roteador pontua os especialistas para esta palavra específica e fica só com os melhores — esses rodam, o resto fica no escuro. Em símbolos: pontue-os com um softmax, pegue os k mais altos, e a resposta é a mistura ponderada deles. Como uma esteira de triagem: um pacote chega ao desviador, é lido num piscar, e segue por uma única calha — não por cada esteira do prédio.

Só alguns disparam. Assim capacidade e custo enfim se separam.

\text{capacity} \propto N, \qquad \text{cost} \propto k, \qquad k \ll N

Aqui está o prêmio. Acrescente mais especialistas e o modelo sabe mais — sua capacidade cresce com o número deles N. Mas só k deles rodam por palavra, então a computação cresce só com k. Estoque cem especialistas, dispare dois: cem vezes o conhecimento pelo dobro do custo. Como uma fileira de torneiras: o cano inteiro é forrado delas, e ainda assim só duas ficam abertas.

Um porém: o roteador tem favoritos. Então o fazemos repartir.

\mathcal{L}_{\text{aux}} = \alpha\, N \sum_{i=1}^{N} f_i\, P_i

Por conta própria, o roteador cai numa rotina — chama os mesmos poucos especialistas enquanto o resto nunca treina. Então acrescentamos uma pequena penalidade de justiça: ela multiplica a fração de palavras que cada especialista recebeu pela fração de confiança que o roteador lhe enviou, e atinge o fundo só quando a carga está distribuída por igual. Como irrigar um campo: abra cada comporta numa medida justa, ou alguns sulcos alagam enquanto o resto racha de seco.

O resultado: um gigante que roda como algo pequeno.

Junte tudo e você tem uma máquina silenciosamente radical — o amplo conhecimento de um modelo muitas vezes maior que seu custo de operação. A biblioteca inteira fica na memória; cada palavra invoca só a gaveta de que precisa, e o resto dos especialistas espera no escuro até ser chamado. Como o armário de um boticário: uma parede de gavetinhas, e para o remédio em mãos você abre exatamente uma.

🌱 Se só alguns especialistas despertam, quem está pensando?

🌱 Uma mente dividida em especialistas, só um punhado aceso para cada pensamento — e um roteador silencioso decidindo quais. Então onde mora de fato a compreensão: nos especialistas que respondem, ou em quem escolhe e sabe a quem perguntar? Nós também funcionamos assim — sem convocar todo o nosso ser para cada pensamento, apenas a parte que se encaixa. Talvez saber quem despertar seja a habilidade mais profunda.