Por qué un modelo se vuelve más listo cuanto más piensa. · Source

Su inteligencia no queda fijada en el entrenamiento. Déjalo pensar más.

Los mismos pesos, el mismo modelo, pero dedica más esfuerzo en el instante en que responde y acertará más. Pensar es una perilla propia, aparte del tamaño. Como una larga exposición: una foto rápida del cielo nocturno muestra unas pocas estrellas; deja el objetivo abierto más tiempo y miles brotan de la misma oscuridad. No cambió nada salvo el tiempo que le diste.

Por defecto, cada pregunta recibe el mismo instante.

Pregúntale lo que sea —un acertijo o una suma— y responde en una sola pasada, el mismo esfuerzo fijo para lo trivial y para lo endiablado. Ninguna pregunta merece un segundo pensamiento. Como un timbre de mostrador: un golpe y salta una respuesta, al instante, lo mismo si el pedido es un vaso de agua que un menú de cinco platos. Rápido, pero nunca más hondo cuando hace falta.

Así que no preguntes una vez. Pregunta cien veces.

P(\text{success}) = 1 - (1-p)^{N}

La palanca más simple: deja que intente la misma pregunta una y otra vez, cada intento independiente cayendo un poco distinto. Un solo tiro puede fallar; un abanico de tiros rara vez falla entero. Como rascar una cerilla húmeda: un roce puede no prender, pero sigue rascando y la probabilidad de que ninguna se encienda cae rápido. Si un intento acierta con probabilidad p, la de que todos los N fallen es solo (1−p)ᴺ.

Pero más intentos solo ayudan si sabes cuál ganó.

Cien respuestas no valen nada si algo no distingue cuál es la correcta. Ese juez es la trampa: un verificador que puntúa cada intento. Como un detector de metales sobre la arena: puedes cavar mil hoyos, pero solo das con el anillo si algo te dice dónde. Sin detector, recurres a votar a mano alzada, y la respuesta favorita de la multitud puede estar, con total seguridad y unanimidad, equivocada.

Cada intento extra rinde menos que el anterior.

\Delta P_N = p\,(1-p)^{N-1}

Las ganancias no llegan gratis para siempre. Los primeros intentos hacen casi todo el trabajo; después, cada nuevo intento mueve las probabilidades una pizca menos que el anterior. Como exprimir un limón: el primer apretón da un chorro, el siguiente un hilillo, y pronto fuerzas con todo por una sola gota. El intento N suma solo p(1−p)ᴺ⁻¹: real, pero encogiéndose geométricamente. Pensar más siempre cuesta; no siempre paga.

Una mente pequeña que piensa mucho iguala a una grande que suelta.

C_{\text{test}} \approx 2\,N_{\text{params}}\,T_{\text{tokens}}

Esto compra una segunda forma de volverse más listo. El cómputo que gastas al responder es solo el tamaño del modelo por cuánto genera, así que dejar que un modelo piense K× más cuesta lo mismo que construir uno K× mayor. Como un serrucho a través de una viga: una hoja pequeña, con bastantes pasadas pacientes, corta lo que una gran sierra de aserradero parte de una sola vez. Cambia tamaño por tiempo. Con mesura: si fuerzas demasiado, las ganancias se aplanan.

Ahora dos aceleradores: cuán grande lo construyes y cuánto piensa.

La inteligencia dejó de ser un solo número que horneas en el entrenamiento. Ahora hay dos aceleradores —el tamaño al que haces crecer el modelo y el tiempo de pensar que le concedes al responder— y ambos compran precisión a lo largo de una curva suave y escalable. Como una carretilla: una modesta, viaje tras viaje, acarrea lo que un gran carromato lleva en una sola carga. Fuerza o paciencia: el trabajo igual llega.

Ni un peso cambió. Y aun así, con tiempo, supo más.

Nada en el modelo se movió. No se aprendió ningún hecho nuevo. Y sin embargo —dado más tiempo para pensar— alcanza respuestas que antes no podía. ¿Dónde vivía ese saber mientras yacía sin pensar? Quizá pensar más no crea la respuesta en absoluto, solo camina lo bastante lejos para encontrar una que siempre estuvo al alcance. 🌱