JavaScriptを有効にしてください

NTK

 ·  ☕ 1 min read
  • Neural Tangent Kernel

    • 以下に示すようなカーネル
      $$k_{\mathrm{NTK}}(x_i, x_j) = E_{\theta \sim \N} \left\langle \frac{\partial f(x_i; \theta)}{\partial \theta}, \frac{\partial f(x_j; \theta)}{\partial \theta} \right\rangle$$

    • 特に, 入力をhypersphereに限定すると, MLPのNTKは $h_{\mathrm{NTK}}(\mathbf x_i^\top \mathbf x_j)$と内積の形で書ける

  • 幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい)

    • なので, NNの解析がかなり容易になる
    • ただし, 重みの初期化は正規分布から適当にサンプリングしてきたものとする
  • 再生核ヒルベルト空間において, カーネル関数 $K(x,y)$は $x, y$の類似度・近さを表す

    • (カーネルトリックを想起すれば理解は容易)
    • なので, なるだけNTKはシフト不変性があったほうがよい (todo)
      • シフト不変であれば, 任意の座標において同一のカーネルであることが保証される
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web