https://yuiga.dev/blog/en/tags/%E6%83%85%E5%A0%B1%E3%82%A8%E3%83%B3%E3%83%88%E3%83%AD%E3%83%94%E3%83%BC/ Recent content in 情報エントロピー on 行李の底に収めたり[YuWd] Hugo -- gohugo.io en ©2026, All Rights Reserved Sat, 25 Jun 2022 04:37:43 +0900 https://yuiga.dev/blog/en/ja/posts/aic_%E8%B5%A4%E6%B1%A0%E6%83%85%E5%A0%B1%E9%87%8F%E5%9F%BA%E6%BA%96/ Sat, 25 Jun 2022 04:37:43 +0900 Sat, 25 Jun 2022 04:37:43 +0900 https://yuiga.dev/blog/en/ja/posts/aic_%E8%B5%A4%E6%B1%A0%E6%83%85%E5%A0%B1%E9%87%8F%E5%9F%BA%E6%BA%96/ 真の分布 $g$と得られた分布 $f$のKLダイバージェンスを最小化したい → ( $f$と $g$の交差エントロピー) - ( $g$のエントロピー) を最小化したい で, 真の分布 $g$が得られないので, 色々と強い仮定を連ねると, 例のあの式が導出されるみたい 割とAICの導出は難しい https://gyazo.com/fdf004f02bebf52589f0be3e740535f7 YuWd (Yuiga Wada) 統計 機械学習 情報エントロピー post