JavaScriptを有効にしてください

【論文メモ】Why do tree-based models still outperform deep learning on tabular data?

 ·  ☕ 1 min read


  • 2つ目: MLPは不必要な情報に弱い
    • 実験: ランダムフォレストで得られた特徴量の重要度を元に特徴を少しずつ削除して結果を比較


  • 3つ目: テーブルデータは回転不変性を持たないので, NNの学習は向かない
    • NNは回転不変性を持つ. すなわち, 任意のユニタリ行列を掛けて入力してもほとんど出力に影響がないように学習される
    • 実験: 回転を掛けたバージョンとそうでないものを比較
    • 下図を見ると, 回転を掛けることで順位が逆転している(NN > Tree-based)


共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web