Por qué un buen adivino y un buen compresor son el mismo farero. · Source

Dos faros y una conversación extrañamente corta

Dos faros se miran a través de un estrecho negro, y cada noche sus fareros conversan con destellos de lámpara. Un visitante empieza a cronometrarlos: los dos fareros viejos resuelven los planes de toda una tormenta en un puñado de destellos, mientras el nuevo del faro sur pena hasta pasada la medianoche para decir cualquier cosa. Mismas lámparas, mismo mar. ¿Qué hace corta una conversación?

Una economía hecha de luz agotadora

Destellar es trabajo — postigos que izar, aceite que arde, brazos doloridos en el frío. Así que con los años los dos fareros viejos pactaron una economía privada: lo que ambos ven venir recibe el patrón más breve, y las alarmas raras conservan los largos. Cada mensaje que pudieran enviar tiene su longitud. Pero ¿cuán corto merece ser cada uno?

Destellos más cortos para cosas más seguras

\ell(x) \approx -\log_2 p(x)

Su costumbre obedece una regla que ninguno escribió jamás: la longitud de un patrón debe seguir las probabilidades de lo que nombra. Una pregunta a partes iguales merece un solo destello; cada mitad que pierden las probabilidades suma un destello más. La lámpara gasta luz exactamente donde se acaba la certeza. Y la certeza no vive en la lámpara — vive en el farero.

La brevedad mide qué tan bien terminas mi frase

Mira al farero del norte a mitad de mensaje: ya ve las tres maneras en que la frase podría terminar, así que espera solo el destello que elige entre esas. Cuanto mejor termina cada farero el pensamiento del otro, menos destellos lo zanjan. El visitante anota un hallazgo extraño: su brevedad es una medida de la predicción. Entonces el farero del sur se jubila.

El nuevo farero paga precio íntegro por cada sorpresa

El sustituto no predice nada. Cada parte de mareas lo sobresalta, así que todo debe deletrearse por el camino largo, y el peaje nocturno de destellos se dispara. Pero estación tras estación sus conjeturas se afinan — y las conversaciones se acortan exactamente en esa medida. Todo su progreso puede leerse en la lámpara: menos destellos, mejor profeta. El trueque tiene nombre.

Predecir es comprimir — una destreza, dos abrigos

\mathcal{L} = -\tfrac{1}{T}\sum_{t=1}^{T} \log_2 q(x_t \mid x_{<t})

Predecir es comprimir. Una mente que adivina bien la siguiente señal puede nombrar mensajes enteros en unos pocos destellos — y un modelo de lenguaje se entrena encogiendo su sorpresa media ante la palabra siguiente, que es literalmente la longitud del código que gastaría en el texto del mundo. Cada curva de pérdida que cae es una conversación que se acorta.

🌱 ¿Lo incomprimible es solo lo verdaderamente nuevo?

Con los años, las noches de los dos fareros viejos cayeron casi en silencio — una predicción casi perfecta apenas necesita luz. Solo lo que ninguno vio venir siguió costando precio íntegro: la ola solitaria, el barco fuera de temporada. 🌱 Si conocer a alguien es necesitar menos palabras con él, ¿la parte del mar que ningún farero podrá acortar jamás es solo otro nombre de lo nuevo?