JavaScriptを有効にしてください

情報エントロピー

 ·  ☕ 1 min read
  • 要件

      1. 確率を用いたい
      1. ある独立な事象について, 情報量は加法的でありたい
      • → つまり, ある独立な事象 $x, y$ について, $f(x,y) = f(x) + f(y)$
  • これらを満たすには, 積が加法的になれば良いので, $log$ が使えそうだ

  • よって, 情報量を $f(x) = -log(p(x)) $ とする

  • この”情報量”についての期待値を計算したものをエントロピーと定義する

    • $H[y|x$ = -\sum_{x \in X} p(x) log(p(x)) ]
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web