JavaScriptを有効にしてください

【論文メモ】Your classifier is secretly an energy based model and you should treat it like one

 ·  ☕ 1 min read
  • 分類問題について, 生成モデルで用いられるEnergy Based Modelに基づいた学習手法を提案

  • 一般的な学習

    • あるNNfθ(x)とすると, 出力の y番目を fθ(x)[y]として, softmaxは以下のように表される
      pθ(y|x)=exp(fθ(x)[y])yexp(fθ(x)[y])

    • ここで, Energy Based Modelでは
      pθ(x,y)=exp(Eθ(x,y))Zθ

    • と定義されるので, エネルギー関数 Eθ(x,y)
      Eθ(x,y):=ln(fθ(x)[y])

    • と定義すれば, エネルギー関数 Eθ(x)yについて周辺化して
      Eθ(x):=yln(fθ(x)[y])

    • と定義でき, 一般的な分類学習問題はEnergy Based Modelへと再解釈できる

      • これをJoint Energy-Based Model (JEM)と呼ぶ
  • 図にすると下のような感じ


  • このとき, 最適化したい対数尤度は
    ln(pθ(y|x))=ln(pθ(x))+ln(pθ(x,y))
  • 第二項はそのままクロスエントロピーとして最適化すればよいので第二項だけ考える
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web