Cómo un modelo alberga muchos especialistas — y despierta solo a unos pocos. · Source

Un modelo puede albergar cien mentes — y despertar solo unas pocas por palabra.

Imagina un modelo que alberga el conocimiento de cien especialistas a la vez. El truco: para una sola palabra, casi todos siguen dormidos. Unos pocos despiertan, dan su respuesta y el resto nunca se activa. Como un almacén inmenso: filas de estanterías que se pierden en la oscuridad, y enciendes la luz sobre un solo pasillo. Enorme de guardar — barato de usar.

Normalmente, cada palabra paga por todos y cada uno de los parámetros.

C_{\text{token}} \approx 2P

En un modelo denso corriente, cada palabra atraviesa todos los pesos — todos tocados, cada vez. El coste por palabra ronda las dos operaciones por cada parámetro que posees, así que un modelo más listo es un modelo más caro, al unísono. Capacidad y coste van soldados. Como una orquesta al completo: todo el conjunto suena a pleno pulmón — aun para una sola nota suave.

Empieza la solución: no un gran bloque, sino muchos pequeños.

Coge ese gran bloque de procesamiento y pártelo en muchos más pequeños — llámalos expertos. Cada uno es libre de derivar hacia una especialidad: uno tiende al código, otro a la gramática, otro a los números. Nadie asigna el reparto — surge del entrenamiento. Como el panel de herramientas de un artesano: no un único aparato que lo hace todo, sino una pared de herramientas dedicadas, cada una excelente en su tarea estrecha.

Un pequeño enrutador lee cada palabra y elige unos pocos expertos.

g = \operatorname{softmax}(x W_g), \qquad y = \sum_{i \in \operatorname{TopK}(g,\,k)} g_i\, E_i(x)

Hacer correr a todos los expertos arruinaría la idea. Así que un pequeño enrutador puntúa a los expertos para esta palabra concreta y se queda solo con los mejores — esos corren, el resto queda a oscuras. En símbolos: puntúalos con un softmax, toma los k más altos, y la respuesta es su mezcla ponderada. Como una línea de clasificación: un paquete llega al desviador, se lee en un parpadeo y se manda por una sola rampa — no por cada cinta del edificio.

Solo unos pocos se activan. Así capacidad y coste por fin se separan.

\text{capacity} \propto N, \qquad \text{cost} \propto k, \qquad k \ll N

Aquí está el premio. Añade más expertos y el modelo sabe más — su capacidad crece con su número N. Pero solo k de ellos corren para una palabra, así que el cómputo crece solo con k. Almacena cien expertos, activa dos: cien veces el conocimiento al doble del coste. Como una hilera de grifos: toda la tubería está bordeada de ellos, y aun así solo dos quedan abiertos.

Un pero: el enrutador tiene favoritos. Así que lo obligamos a repartir.

\mathcal{L}_{\text{aux}} = \alpha\, N \sum_{i=1}^{N} f_i\, P_i

A su aire, el enrutador se acomoda — llama a los mismos pocos expertos mientras el resto nunca entrena. Así que añadimos una pequeña penalización de equidad: multiplica la porción de palabras que recibió cada experto por la porción de confianza que el enrutador le envió, y toca fondo solo cuando la carga se reparte por igual. Como regar un campo: abre cada compuerta una parte justa, o unos surcos se anegan mientras el resto se agrieta de seco.

El resultado: un gigante que funciona como algo pequeño.

Júntalo todo y obtienes una máquina silenciosamente radical — el amplio conocimiento de un modelo muchas veces mayor que su coste de funcionamiento. La biblioteca entera reside en memoria; cada palabra invoca solo el cajón que necesita, y el resto de los especialistas esperan a oscuras hasta ser llamados. Como el armario de un boticario: una pared de cajoncitos, y para el remedio que tienes entre manos abres exactamente uno.

🌱 Si solo despiertan unos pocos especialistas, ¿quién está pensando?

🌱 Una mente partida en expertos, solo un puñado encendidos para cada pensamiento — y un enrutador silencioso decidiendo cuáles. Entonces, ¿dónde vive de verdad la comprensión: en los especialistas que responden, o en el que elige y sabe a quién preguntar? Nosotros también funcionamos así — sin convocar todo nuestro ser para cada pensamiento, solo la parte que encaja. Quizá saber a quién despertar sea la habilidad más profunda.