JavaScriptを有効にしてください

KLダイバージェンス

 ·  ☕ 1 min read
  • 分布 $p(x), q(x)$ がそれぞれどの程度似ているかを測る指標

  • 情報エントロピーを計算する
    $$KL(p||q) = \int_{-\infty}^{\infty}p(x)\ln \frac{p(x)}{q(x)}dx$$

  • 特徴

      1. 対称性がない
      1. それゆえ, 距離ではなく「擬距離」と呼ばれるらしい
      • 対称性を持たせるために左右反転したものの平均を取ることがある
        $$D_{JS}(p||q) = \frac{KL(p||q) + KL(q||p)}{2}$$
        • これをJSダイバージェンスと呼ぶらしい
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web