Por que um bom adivinho e um bom compressor são o mesmo faroleiro. · Source

Dois faróis e uma conversa estranhamente curta

Dois faróis se encaram através de um estreito negro, e toda noite seus faroleiros conversam por lampejos de lampião. Um visitante começa a cronometrá-los: os dois faroleiros velhos resolvem os planos de uma tempestade inteira num punhado de lampejos, enquanto o novato do farol sul sua até depois da meia-noite para dizer qualquer coisa. Mesmos lampiões, mesmo mar. O que torna uma conversa curta?

Uma economia feita de luz exaustiva

Lampejar é trabalho — venezianas içadas, óleo queimando, braços doloridos no frio. Então, com os anos, os dois faroleiros velhos firmaram uma economia particular: o que ambos veem chegar ganha o padrão mais breve, e os alarmes raros ficam com os longos. Cada mensagem que possam enviar tem seu comprimento. Mas quão curta cada uma merece ser?

Lampejos mais curtos para coisas mais certas

\ell(x) \approx -\log_2 p(x)

O hábito deles obedece a uma regra que nenhum dos dois jamais escreveu: o comprimento de um padrão deve seguir as chances da coisa que ele nomeia. Uma pergunta de chances iguais merece um único lampejo; cada metade perdida nas chances vale um lampejo a mais. O lampião gasta luz exatamente onde a certeza acaba. E a certeza não mora no lampião — mora no faroleiro.

A brevidade mede como você termina meu pensamento

Observe o faroleiro do norte no meio da mensagem: ele já vê os três jeitos de a frase terminar, então espera apenas o lampejo que escolhe entre esses. Quanto melhor cada faroleiro termina o pensamento do outro, menos lampejos resolvem a conversa. O visitante anota um achado estranho: a brevidade deles é uma medida de previsão. Então o faroleiro do sul se aposenta.

O faroleiro novo paga preço cheio por cada surpresa

O substituto não prevê nada. Cada boletim de maré o assusta, então tudo precisa ser soletrado pelo caminho longo, e o pedágio noturno de lampejos incha. Mas estação após estação seus palpites afiam — e as conversas encurtam exatamente nessa medida. Todo o seu progresso pode ser lido no lampião: menos lampejos, melhor profeta. Essa troca tem nome.

Prever é comprimir — uma perícia, dois casacos

\mathcal{L} = -\tfrac{1}{T}\sum_{t=1}^{T} \log_2 q(x_t \mid x_{<t})

Prever é comprimir. Uma mente que adivinha bem o próximo sinal pode nomear mensagens inteiras em poucos lampejos — e um modelo de linguagem é treinado encolhendo sua surpresa média diante da palavra seguinte, que é literalmente o comprimento do código que gastaria no texto do mundo. Cada curva de perda que cai é uma conversa ficando mais curta.

🌱 O incompressível é só o verdadeiramente novo?

Anos depois, as noites dos dois faroleiros velhos caíram quase em silêncio — uma previsão quase perfeita quase não precisa de luz. Só o que nenhum dos dois viu chegar seguiu custando preço cheio: a onda rebelde, o navio fora de época. 🌱 Se conhecer alguém é precisar de menos palavras com essa pessoa, a parte do mar que faroleiro nenhum jamais encurtará é só outro nome para o novo?