ふたつの灯台と、不思議なほど短い会話 黒い海峡をはさんで、ふたつの灯台が向かい合っている。夜ごと、番人たちはランプの明滅で語り合う。ある訪問者が時間を計り始めた。ふたりの老いた灯台守は、嵐ひとつ分の段取りをほんの数回の閃光で決めてしまうのに、南の灯台に来た新入りは、何を言うにも夜半過ぎまでかかる。同じランプ、同じ海。会話を短くするものは、いったい何なのか?
身を削る光の上に築かれた倹約 光を明滅させるのは重労働だ——シャッターを引き上げ、油を焚き、寒さの中で腕が痛む。だから長い年月のうちに、ふたりの老灯台守はひそかな倹約を取り決めた。互いに来るとわかっていることには、いちばん短い合図を。めったにない警報にだけ、長い合図を残す。送りうる知らせのすべてに、それぞれの長さがある。だが、それぞれはどこまで短くしていいのか?
確かなことほど短い閃光で ℓ(x)≈−log2p(x)\ell(x) \approx -\log_2 p(x) ふたりの習慣は、誰も書き記したことのない規則に従っている。合図の長さは、それが名指すものの起こりやすさに釣り合うべし。五分五分の問いには閃光ひとつ。起こりやすさが半分になるごとに、閃光をひとつ加える。ランプは、確信が尽きるまさにその場所にだけ光を費やす。そして確信はランプの中にはない——灯台守の中にあるのだ。
短さは、相手の考えを先読みできる度合い 文のなかばの北の灯台守を見るがいい。彼にはもう、その文の終わり方が三通りしか見えていない。だから待つのは、その三つから選び取るための閃光だけだ。互いの考えの先を読めるほど、決着に要する閃光は少なくなる。訪問者は奇妙な発見を書き留めた——ふたりの短さは、予測の精度の測定値なのだ。そんな折、南の灯台守が引退した。
新入りは、あらゆる驚きに満額を払う 跡継ぎは何ひとつ予測できない。潮の報せのいちいちに驚くから、何もかも長い綴りで打たねばならず、ひと晩の閃光の勘定は膨れ上がる。だが季節を重ねるごとに彼の見立ては鋭くなり——会話はちょうどその分だけ短くなっていく。彼の成長のすべては、ランプから読み取れる。閃光が減るほど、良い預言者。この交換には名前がある。
予測は圧縮——ひとつの技、ふたつの装い L=−1T∑t=1Tlog2q(xt∣x<t)\mathcal{L} = -\tfrac{1}{T}\sum_{t=1}^{T} \log_2 q(x_t \mid x_{<t}) 予測は圧縮である。次の合図をよく当てられる者は、知らせをまるごと、わずかな閃光で名指せる——そして言語モデルの訓練とは、次の語への平均の驚きを縮めることであり、それは世界の文章に費やすはずの符号の長さそのものを縮めることと文字どおり同じだ。下がっていく損失の曲線はどれも、短くなっていく会話なのである。
🌱 縮められないものこそ、本当に新しいもの? 年月が経ち、ふたりの老灯台守の夜はほとんど沈黙に沈んだ——ほぼ完璧な予測には、ほとんど光がいらないのだ。満額の代価を払い続けたのは、どちらも予見できなかったものだけ。狂い波、季節はずれの船。🌱 誰かを知るとは、その人と交わす言葉が減っていくことだとしたら——どの灯台守にも決して縮められない海のその部分は、新しさのもうひとつの名前なのだろうか?
