-
分類問題について, 生成モデルで用いられるEnergy Based Modelに基づいた学習手法を提案
-
一般的な学習
-
あるNNを
とすると, 出力の 番目を として, softmaxは以下のように表される
-
ここで, Energy Based Modelでは
-
と定義されるので, エネルギー関数
を
-
と定義すれば, エネルギー関数
は について周辺化して
-
と定義でき, 一般的な分類学習問題はEnergy Based Modelへと再解釈できる
- これをJoint Energy-Based Model (JEM)と呼ぶ
-
-
図にすると下のような感じ

- このとき, 最適化したい対数尤度は
- 第二項はそのままクロスエントロピーとして最適化すればよいので第二項だけ考える
- 第一項
はEnergy Based Modelのページにも書いたとおり, 負の勾配を取ると
- なので, Stochastic Gradient Langevin Dynamicsによるサンプリングを行えば学習できる
- 第一項