Por que torná-lo maior continua melhorando-o — de forma previsível, e então de repente. · Source

Torne-o maior — ele melhora ao longo de uma curva, e novas habilidades se acendem.

Você não reescreve o modelo para deixá-lo mais inteligente. Apenas o escala — mais parâmetros, mais dados, mais computação — e sua destreza sobe por uma curva suave e previsível. Então, em certos tamanhos, habilidades que nunca lhe foram ensinadas simplesmente aparecem. Como um balão ao amanhecer: você sobe sem parar, e de repente todo um novo horizonte se abre lá embaixo.

O problema: um treino gigante é uma fortuna gasta antes de saber se compensa.

Treinar um modelo de fronteira custa milhões e leva semanas. O jeito antigo de saber se um maior valia a pena? Construir e descobrir. Você aposta tudo de antemão, e o veredito chega tarde demais para mudar de rumo. Como semear um campo imenso ao anoitecer: toda a semente entra agora, e se valeu a pena só se verá na colheita, a uma estação de distância.

Plote o erro contra o tamanho, e o caos se endireita em uma linha limpa.

L(N) \approx \left(\dfrac{N_c}{N}\right)^{\alpha_N},\qquad \alpha_N \approx 0.076

Meça o erro do modelo enquanto você aumenta o número de parâmetros N. Em eixos log-log os pontos caem sobre uma reta: o erro cai como uma lei de potência fixa do tamanho. Em palavras simples, cada 10× de tamanho corta a mesma fatia fixa de erro — então dá para ler o modelo de amanhã na linha de hoje. Como trilhos rumo ao horizonte: perfeitamente retos, e você vê aonde levam muito antes de chegar.

Tamanho, dados, computação — e a computação é só os outros dois multiplicados.

C \approx 6\,N\,D

A curva tem três botões: parâmetros N, tokens de treino D e a computação C que você gasta — e eles não são independentes. Cada token custa cerca de seis operações por parâmetro, duas na ida e quatro na volta. Em palavras simples, o trabalho total é tamanho vezes dados, seis vezes. Como tecer um tecido: a metragem que você obtém é os fios de urdume vezes as passadas de trama — nenhum sozinho faz um único metro.

Você nunca chega a zero. Sempre sobra um piso de pura aleatoriedade.

L(N,\,D) = E + \dfrac{A}{N^{\alpha}} + \dfrac{B}{D^{\beta}}

Faça o modelo e os dados crescerem para sempre e mesmo assim o erro não chegará a zero. A lei completa empilha duas penalidades que encolhem — uma por um modelo pequeno demais, outra por poucos dados — sobre um piso fixo E. Esse piso é a verdadeira aleatoriedade da própria linguagem: nem um modelo perfeito acerta um cara ou coroa. Como polir um espelho: cada passada ganha um pouco menos, e a física fixa uma lisura para a qual você lixa mas nunca supera.

Com orçamento fixo, faça o modelo e os dados crescerem juntos — não um só.

N_{\text{opt}} \propto C^{a}, \quad D_{\text{opt}} \propto C^{b}, \quad a \approx b \approx \tfrac{1}{2}

Fixe o orçamento de computação e pergunte: modelo maior, ou mais dados? A resposta é os dois, em medida quase igual — quando o orçamento dobra, faça cada um crescer por mais ou menos o mesmo fator. O ponto certo fica perto de vinte tokens de texto por parâmetro. Em palavras simples, um modelo gigante mal alimentado é só um gigante mal treinado. Como remar com dois remos: puxe um bem mais forte que o outro e você não vai mais rápido — só gira.

Desça o suficiente por essa curva suave, e novas capacidades se ativam de golpe.

Aqui está a reviravolta que faz a escala parecer mágica. A curva de perda cai suavemente — mas uma habilidade específica, como a aritmética de vários dígitos, pode ficar plana no nível do acaso modelo após modelo, e então passar a funcionar quase de uma vez. Vinha se formando por baixo o tempo todo; o salto brusco é em parte a régua, que pontua tudo ou nada. Como um monte de areia em seu ângulo crítico: você adiciona grãos um a um e nada se move — até que um único grão faz toda a encosta deslizar.

🌱 A linha nunca se curva. Então existe um topo — ou só mais do mesmo?

Toda lei aqui diz a mesma coisa: gaste mais, ganhe mais, ao longo de uma curva que só continua — sem curva, sem teto à vista. Mas uma linha que nunca vira é também uma linha que nunca chega; ela só promete que o próximo degrau está ao alcance, nunca que é o último. Então, quando um modelo enfim parece entender, isso é algo genuinamente novo — ou só a mesma subida suave, afiada até surpreender até a nós mesmos?