まっすぐな線の積み重ねが、考えるためになぜ一つの折れ目を要するのか。 · Source

百の層を積み重ねても、たった一つの折れ目がなければ、結局は一層と同じ。

深いネットワークとは、層の上に層を重ねたもの——層が増えれば力も増す、と思うだろう。そうではない。その間に小さな仕掛けを一つ挟まなければ、百の層は一つの層とまったく同じことしかしない——一本のまっすぐな線を引くだけだ。深さが効く理由、モデルが曲がったもの・絡まったもの・現実のものを学べる理由は、活性化関数と呼ばれるささやかな一手にある。あの折れ目だ。まっすぐな線をいくら積み重ねても、なぜ一本のまっすぐな線のままなのかを見ていこう。

まっすぐな処理を二つ続けても、実はたった一つ。

W_2(W_1 x + b_1) + b_2 = (W_2 W_1)\,x + (W_2 b_1 + b_2) = W' x + b'

透明なガラス板のように：平らなガラスを十枚重ねて覗いても、一枚越しと同じくまっすぐに見える——平らなガラスを何枚重ねても光は曲がらない。折れ目のない層も同じだ。空間を引き伸ばし回転させるだけの、まっすぐな写像にすぎない。二つつなげても、数式はそれを一つのまっすぐな写像にまとめてしまう——百でも同じ。深さそれ自体は、何ももたらさない。

一本のまっすぐな切れ目では、これは分けられない。

f_{\text{lin}}(x)=\operatorname{sign}(w^\top x + b)\quad(\text{one straight cut});\qquad \text{XOR}:\ (0,0)\!\to\!0,\ (0,1)\!\to\!1,\ (1,0)\!\to\!1,\ (1,1)\!\to\!0

チェッカー盤の上のロープのように：マス目の上にぴんと張ったロープを一本置き、濃いマスを片側に、薄いマスをもう片側に分けようとしてみる——できない。模様が噛み合っているからだ。最も単純な現実のタスク XOR がまさにこれだ。一本のまっすぐな線では分けられない二つのクラス。まっすぐな線のモデルにはこれが見えない。世界はこうした例であふれ、平らな写像はそれを回り込めない。

解決策はごくわずか——たった一つの折れ目。

\operatorname{ReLU}(x)=\max(0,\,x)

鋼の棒の蝶番のように：まっすぐな棒は向きを変えられない——蝶番を一つ付けるまでは。すると棒は折れ曲がる。まっすぐな線の層ごとに、単純な折れ目を一つ加える。正のものは残し、残りはゼロに潰す。その折れが ReLU、存在する中で最も安価な非線形性だ。蝶番一つではたいしたことはない。だが層ごとに蝶番を入れれば、硬い定規が何にでも巻きつける何かに変わる。

なぜこの折れ目で、昔のなめらかに押しつぶす曲線ではないのか？

\sigma'(x)=\sigma(x)\bigl(1-\sigma(x)\bigr)\le \tfrac{1}{4}\ \Rightarrow\ \prod_{l=1}^{L}\sigma' \le \left(\tfrac{1}{4}\right)^{L}\!\to 0;\qquad \operatorname{ReLU}'(x)=1\ \ (x>0)

初期のネットは、両端で平らになる S 字カーブで折れ曲がっていた。深いスポンジに落とすボールのように：やわらかく平らな層がそのたびに勢いを吸い込み、層を重ねるうちに学習の信号は戻ってくる前に死ぬ——恐れられる勾配消失だ。ReLU の正の側は傾きがちょうど 1 の硬い床。信号はそのまま、減衰せずに跳ね返る。深い積み重ねがついに学習できたのはこのためだ——折れ目が信号に息をさせた。

だが蝶番には死んだ肘がある。だから丸める。

\operatorname{GELU}(x)=x\,\Phi(x),\qquad \Phi(x)=\tfrac{1}{2}\left[\,1+\operatorname{erf}\!\left(\tfrac{x}{\sqrt{2}}\right)\right]

ReLU の角は鋭い。負の入力ではどこでも傾きが平らなゼロで、そこにはまったニューロンは死ぬ——たどる傾きもなく、学び返す術もない。縁石ではなくスロープのように：車輪は硬い縁にぶつかると止まるが、なだらかな坂ならなめらかに上る。GELU のようななめらかな折れ目は角を丸める——大きな入力にはほぼ全開、小さな入力には静かに閉じる柔らかいゲートで、どこにも使える傾きを残す。

まっすぐな断片に折れ目を足せば、どんな形でも描ける。

\forall\,\varepsilon>0\ \ \exists\,N:\quad \left|\,g(x)-\sum_{i=1}^{N} c_i\,\sigma\!\left(w_i^\top x + b_i\right)\right|<\varepsilon

ここが報酬だ。針金を曲げて輪郭にするように：硬くまっすぐな針金は線しか描けないが、小さな折れ目を十分に重ねれば、好きな輪郭をなぞれる——鳥でも、海岸線でも、署名でも。線形の層がまっすぐな断片を並べ、活性化が折れ目を加える。十分に積み重ねれば、ネットワークはどんな連続した形でも、好きな精度で近似できる。これがあの有名な結果だ——そして折れ目を取り除いた瞬間に死ぬ。

🌱 それが描くどの曲線も、実はまっすぐな線の集まり。

折れ目が築くものをよく見てほしい。こうした単純な折れの集まりであるネットワークは、本当の曲線などまったく描いていない——描いているのは無数の小さなまっすぐな断片で、あまりに細かく合わせてあるから、ただなめらかに見えるだけだ。深いモデルのあらゆる優雅さ——思考のどの美しい弧も——は、段差が消えるまで削った階段にすぎない。🌱 では、その曲線は本物なのか？それとも、なめらかさとは、私たちを欺くほど細かく刻まれた、ただのまっすぐさなのか？