Por qué hacerlo más grande lo sigue mejorando — de forma predecible, y luego de golpe. · Source

Hazlo más grande — mejora siguiendo una curva, y se encienden nuevas habilidades.

No reescribes el modelo para hacerlo más listo. Solo lo escalas — más parámetros, más datos, más cómputo — y su destreza sube por una curva suave y predecible. Luego, a ciertos tamaños, aparecen sin más habilidades que nunca le enseñaste. Como un globo al amanecer: asciendes sin pausa, y de pronto se abre abajo un horizonte entero y nuevo.

El truco: una corrida de entrenamiento gigante es una fortuna gastada antes de saber si rinde.

Entrenar un modelo de frontera cuesta millones y dura semanas. ¿La vieja forma de saber si uno más grande valía la pena? Constrúyelo y averígualo. Lo apuestas todo por adelantado, y el veredicto llega demasiado tarde para corregir el rumbo. Como sembrar un campo inmenso al anochecer: toda la semilla entra ahora, y si valió la pena no se verá hasta la cosecha, a una estación de distancia.

Grafica el error frente al tamaño, y el caos se endereza en una línea limpia.

L(N) \approx \left(\dfrac{N_c}{N}\right)^{\alpha_N},\qquad \alpha_N \approx 0.076

Mide el error del modelo a medida que creces el número de parámetros N. En ejes log-log los puntos caen en una recta: el error baja como una ley de potencias fija del tamaño. En palabras simples, cada 10× de tamaño recorta la misma porción fija de error — así puedes leer el modelo de mañana en la línea de hoy. Como rieles hacia el horizonte: perfectamente rectos, y ves a dónde llevan mucho antes de llegar.

Tamaño, datos, cómputo — y el cómputo es solo los otros dos multiplicados.

C \approx 6\,N\,D

La curva tiene tres perillas: parámetros N, tokens de entrenamiento D y el cómputo C que gastas — y no son independientes. Cada token cuesta unas seis operaciones por parámetro, dos en la ida y cuatro en la vuelta. En palabras simples, el trabajo total es tamaño por datos, seis veces. Como tejer tela: los metros que obtienes son los hilos de urdimbre por las pasadas de trama — ninguno por sí solo hace un solo metro.

Nunca llegas a cero. Siempre queda un piso de pura aleatoriedad.

L(N,\,D) = E + \dfrac{A}{N^{\alpha}} + \dfrac{B}{D^{\beta}}

Haz crecer el modelo y los datos para siempre y aun así el error no llegará a cero. La ley completa apila dos penalizaciones que menguan — una por un modelo demasiado pequeño, otra por muy pocos datos — sobre un piso fijo E. Ese piso es la verdadera aleatoriedad del lenguaje mismo: ni un modelo perfecto puede adivinar el cara o cruz de una moneda. Como pulir un espejo: cada pasada gana un poco menos, y la física fija una tersura hacia la que lijas pero que nunca superas.

Con un presupuesto fijo, haz crecer el modelo y los datos juntos — no uno solo.

N_{\text{opt}} \propto C^{a}, \quad D_{\text{opt}} \propto C^{b}, \quad a \approx b \approx \tfrac{1}{2}

Fija el presupuesto de cómputo y pregunta: ¿modelo más grande o más datos? La respuesta es ambos, en medida casi igual — cuando el presupuesto se duplica, haz crecer cada uno más o menos por el mismo factor. El punto justo ronda los veinte tokens de texto por parámetro. En palabras simples, un modelo gigante mal alimentado es solo un gigante mal entrenado. Como remar con dos remos: tira de uno mucho más fuerte que del otro y no vas más rápido — solo giras.

Baja lo suficiente por esa curva suave, y nuevas capacidades se activan de golpe.

Aquí está el giro que hace que la escala parezca magia. La curva de pérdida baja con suavidad — pero una habilidad concreta, como la aritmética de varios dígitos, puede quedarse plana al nivel del azar modelo tras modelo, y de pronto ponerse a funcionar casi de golpe. Se gestaba por debajo todo el tiempo; el salto brusco es en parte la vara de medir, que puntúa todo o nada. Como un montón de arena en su ángulo crítico: añades granos uno a uno y nada se mueve — hasta que un solo grano hace deslizar toda la ladera.

🌱 La línea nunca se curva. ¿Hay entonces una cima — o solo más de lo mismo?

Cada ley aquí dice lo mismo: gasta más, obtén más, a lo largo de una curva que simplemente sigue — sin curva, sin techo a la vista. Pero una línea que nunca gira es también una línea que nunca llega; solo promete que el siguiente peldaño está al alcance, nunca que es el último. Entonces, cuando un modelo por fin parece entender, ¿es eso algo genuinamente nuevo — o solo el mismo ascenso suave, afilado hasta sorprendernos incluso a nosotros?