Pourquoi un bon devineur et un bon compresseur sont le même gardien. · Source

Deux phares, une conversation étrangement courte

Deux phares se font face au-dessus d'un détroit noir, et chaque nuit leurs gardiens se parlent par éclats de lampe. Un visiteur se met à les chronométrer : les deux vieux gardiens règlent les plans de toute une tempête en une poignée d'éclats, tandis que le nouveau du phare sud peine jusque passé minuit pour dire quoi que ce soit. Mêmes lampes, même mer. Qu'est-ce qui rend une conversation courte ?

Une économie bâtie sur une lumière épuisante

Faire des éclats, c'est du travail — volets à manœuvrer, huile qui brûle, bras endoloris dans le froid. Alors, au fil des ans, les deux vieux gardiens ont conclu une économie privée : ce qu'ils voient tous deux venir reçoit le motif le plus bref, et les alertes rares gardent les longs. Chaque message possible a sa longueur. Mais quelle brièveté chacun mérite-t-il ?

Des éclats plus courts pour les choses plus sûres

\ell(x) \approx -\log_2 p(x)

Leur habitude obéit à une règle que nul n'a jamais écrite : la longueur d'un motif doit suivre les chances de la chose qu'il nomme. Une question à chances égales mérite un seul éclat ; chaque division des chances par deux vaut un éclat de plus. La lampe dépense sa lumière exactement là où la certitude s'arrête. Et la certitude n'habite pas la lampe — elle habite le gardien.

La brièveté mesure comme tu finis ma pensée

Regardez le gardien du nord au milieu d'un message : il voit déjà les trois façons dont la phrase pourrait finir, alors il n'attend que l'éclat qui tranche entre celles-là. Mieux chaque gardien finit la pensée de l'autre, moins il faut d'éclats pour conclure. Le visiteur note une découverte étrange : leur brièveté est une mesure de la prédiction. Puis le gardien du sud prend sa retraite.

Le nouveau gardien paie plein tarif chaque surprise

Le remplaçant ne prédit rien. Chaque bulletin de marée le surprend, alors tout doit être épelé par le chemin long, et le péage nocturne d'éclats explose. Mais saison après saison ses conjectures s'affûtent — et les conversations raccourcissent exactement d'autant. Tout son progrès se lit sur la lampe : moins d'éclats, meilleur prophète. Ce troc porte un nom.

Prédire, c'est compresser — un talent, deux manteaux

\mathcal{L} = -\tfrac{1}{T}\sum_{t=1}^{T} \log_2 q(x_t \mid x_{<t})

Prédire, c'est compresser. Un esprit qui devine bien le signal suivant peut nommer des messages entiers en quelques éclats — et un modèle de langue s'entraîne en réduisant sa surprise moyenne devant le mot suivant, qui est littéralement la longueur du code qu'il dépenserait sur le texte du monde. Chaque courbe de perte qui descend est une conversation qui raccourcit.

🌱 L'incompressible n'est-il que le vraiment nouveau ?

Les années passant, les nuits des deux vieux gardiens tombèrent presque dans le silence — une prédiction presque parfaite n'a presque pas besoin de lumière. Seul ce que nul n'avait vu venir coûtait encore plein tarif : la vague scélérate, le navire hors saison. 🌱 Si connaître quelqu'un, c'est avoir besoin de moins de mots avec lui, la part de la mer qu'aucun gardien ne pourra jamais raccourcir n'est-elle qu'un autre nom du nouveau ?