モデルは次の単語を選ばない——重みのついたサイコロを振る。 softmaxからは、次の単語の確率がずらりと並んだ表が出てくる。モデルは一番上をそのまま取るのではなく、確率に応じて単語を引く——いわばサイコロを振る。温度（temperature）は、そのサイコロの重みの偏り方を決めるただ一つのつまみだ。下げれば安全策を取り、上げれば大胆になる。
いつも安全だとロボット的。いつもランダムだと支離滅裂。 いつも一番ありそうな単語を取ると、モデルは硬直する——毎回同じ返事、ループにはまった文。生の確率からそのまま引くと、今度は脱線して、ときどきどこからともない単語を口走る。詰まった組み立てラインのように：設定を一つ決めれば、同じ部品をいつまでも打ち出す。死んだ状態と暴走の間に、つまみが欲しい。
ダイヤル：softmaxの前に、各スコアをTで割る。 pi=ezi/T∑jezj/Tp_i = \dfrac{e^{z_i/T}}{\sum_j e^{z_j/T}} スコアが確率になる前に、それぞれを数Tで割る。Tが小さい（1未満）と差が広がり、本命が独走する。Tが大きいと差がならされ、対抗馬にも本当のチャンスが出る。T = 1なら何も変わらない。火にかけた鍋のように：弱火ではほとんど動かず、重いものは底に沈む。煮立たせれば、すべてが一気にかき混ざる。
ゼロにすれば凍りつき、無限大にすれば純粋な混沌。 limT→0+pi=1 [ i=argmaxjzj ]limT→∞pi=1n\lim_{T\to 0^{+}} p_i = \mathbb{1}\!\left[\,i=\operatorname*{argmax}_j z_j\,\right] \qquad \lim_{T\to\infty} p_i = \frac{1}{n} ダイヤルを両端まで回してみよう。T→0では、最も高いスコアが確率をすべて飲み込む——いつも一番ありそうな単語ただ一つ、毎回同じ固定の答え（これが「temperature 0」の意味だ）。T→∞では、どの単語も同じ確率にならされる——語彙全体にわたる目隠しのコイン投げだ。椀の中のビー玉のように：放っておけば必ず一番低い一点に転がり落ちる。だが十分に強く揺すれば、どこに収まるか分からない。
飼いならしても、悪い単語の長い裾野が潜んでいる。 まともな温度を選んでも問題は残る。語彙には数万もの単語があり、ほぼあり得ない数千の単語も、それぞれが確率のかけらを握っている。かけらは積み重なる。十分に長く引き続ければ、いつかは文全体を脱線させる一語を引いてしまう。ユスリカの群れのように：一匹一匹はどうでもいいが、群れがあまりに巨大なので、遅かれ早かれ何かが刺す。
だから裾野を切る：質量をまかなう少数だけを残す。 S=arg minS′{ ∣S′∣:∑i∈S′pi≥p }p^i=pi∑j∈SpjS=\operatorname*{arg\,min}_{S'}\Big\{\,|S'| : \textstyle\sum_{i\in S'} p_i \ge p\,\Big\} \qquad \hat p_i=\frac{p_i}{\sum_{j\in S} p_j} 単語を確率の高い順に並べ、確率の合計がたとえば0.9に届く最小のグループだけを残し、振る前に残りは捨てる。生き残りを重みづけし直して、また合計が1になるようにする。（代わりに固定の個数だけ残せば、それがtop-kだ。）砂金を選り分けるように：値打ちのない砂を縁から振り落とし、重い金の粒だけを残して、それだけを扱う。
一つのモデル、一つのダイヤル——慎重な事務員か、奔放な詩人か。 これがレシピのすべてだ。温度は確率をゆがめる——鋭く安全に、あるいは平らで大胆に。切り捨ては裾野の支離滅裂を刈り取る。そしてモデルは振る。ネットワークの中身は何も変わっていない。つまみを一つ回しただけだ。ガラス職人の炉のように：同じ一滴の白熱したガラスでも、それが硬く正確な形に固まるか、奔放な形に流れ出すかは、熱だけが決める。
🌱 正しい次の単語はあるのか、それとも選んだ温度があるだけか。 🌱 どの単語も重みつきのサイコロの一振りにすぎないなら、落ち着かないのはこの点だ——見つけられるのを待つ唯一の正しい次の単語などなく、あるのはあなたが選んだ温度がたまたま味方した単語だけかもしれない。ダイヤルを回せば、同じくらい流暢な別の文が出てくる。では、モデルが自信ありげに聞こえるとき、それは真実を語っているのか、それともあなたが選んだ熱のもとで単にありそうだったことを語っているだけなのか。
