穀物の山と、挽き方はふたつ 今年の収穫はすさまじい——谷の真ん中に、穀物が山のように積み上がった。上流には親方の粉挽きが住む。見事な石臼がひとつ、数十年の目利き、誰もが認める最上の粉。下流では、協同組合が谷じゅうの笑いものを作り上げた——千の小さな水車。どれも子どもでも回せるほど単純で、一つひとつは親方の十分の一の値打ちもない。山はどこかへ行かねばならない。当然、親方のところへ?
ひとつの天才と、千の愚直 親方は、粉挽きのあらゆる美徳そのものだ。袋ごとに匂いで穀物を読み、挽きながら石臼を調整し、明日の仕事を手の届くところに整えて、一瞬も遊ばない。だが、彼はひとりだ。石臼がどれほど速く回ろうと、山のすべてが二枚の石のあいだを通らねばならない。組合の賭けはただの算術だ。千の愚直な動きが同時に回れば、ひとりの天才を挽き負かす。そして最初の季節が、彼らに恥をかかせる。
水車は弱さのせいで負けたのではない 穀物はいつもどおりに届く。ごちゃ混ぜの荷車、一袋ごとに違う中身、それぞれが独自の挽き加減を求め、多くは前の袋の粉を待っている。水車の列はそろって回るか、まったく回らないかだ——妙な袋がひとつあれば、百の水車が水を滴らせて立ち尽くし、そのあいだ議論が続く。春には、親方が静かに全部を挽き負かしていた。長老たちはようやく気づく。水車は悪くない。悪いのは、仕事のかたちだ。
山を、そっくり同じ袋に切り分ける 次の収穫で、彼らは水車ではなく仕事のほうを変えた。山はそっくり同じ袋に切り分けられる——同じ重さ、同じ挽き加減、そして何より、互いに借りがないこと。どの袋も、他の袋の粉を待たない。どの水車のそばにも袋の山が積まれ、遅い荷車が誰かを止めることはない。挽き終えた水車は、ただ次の袋を引き寄せる。いまや谷は、毎分千の愚直な動きで挽き続ける。山が溶けていく。それでもなお、水車たちを打ち負かす注文がある……
鎖のかたちの仕事は、上流へ歩いていく idle=p−1m+p−1\text{idle} = \frac{p-1}{m+p-1} 醸造家の注文は鎖だ。挽いて、味見して、調整して、また挽く——どの工程も、前の工程の粉を必要とする。鎖は待ち時間にかたちを与える。ひとつの注文が p の持ち場を渡るとき、働くのは常に一組の手だけで、残りは眺めている。だが m 件の互いに独立な注文を流し込めば、m が増えるほど待ちの割合は消えていく。処方箋は決して、より賢い水車ではない——他の仕事に何も借りない仕事を、もっと流すことだ。その奔流がないとき、鎖は川を上って親方のもとへ歩いていく。そこでは親方が、いまも無敵だ。
天才より処理量——それがGPU この谷こそ、学習が走る機械だ。プロセッサの古典的な核は親方の粉挽き——鎖の仕事に冠たる、一対の天才の手。GPUは千の水車だ。何千もの単純な手の、唯一の才能が処理量である。訓練の山々を挽けるのは、仕事が先に切り分けられているからだ——何百万もの、そっくり同じで互いに独立な掛け算、どれも他を待たない。その切り分けが存在するところでは、天才は算術に負ける……
🌱 思考は鎖か、切り方が悪いだけか 夕暮れ、粉挽きの娘は水車が緩んでいくのを眺めながら、いまも川を上っていく注文のことを考える。いくつかの鎖は、と年寄りの粉挽きたちは認める。誰かが切り方を見つけるまでのあいだだけ、鎖だったのだ。🌱 あなたの思考も、一語また一語とやって来る——鎖と呼ぶほかないかたちで。それは本当の姿だろうか? それとも、まだ誰も切り方を知らない山なのだろうか?
