JavaScriptを有効にしてください

問題を如何に見つけるか

 ·  ☕ 3 min read

はじめに

  • モデルを取っ替えるだけが"“研究"“なら, 研究はただの博打に過ぎない
    • 重要なのは分析と評価である
    • しかし, わかりやすい分析だけでは研究にならない(気がする)
    • したがって, まずは分析手法を徹底的にカテゴライズする必要がある
  • できればこれらのメトリクスを常に表示できるようにしたい → todo

#* 研究の種類

  • 分析 → 改善
  • 新たな手法
  • 応用的題材 → 応用タスクに即したモデルの改変
    • 例1. DatasetGAN → GANの潜在空間の豊かさ
  • 何らかの仮説の立証と応用

#* 定量的な分析

#* 定性的な分析

  • 定性的分析

    • 例1. MAE
      • 自然言語の信号は情報が密で高いセマンティクスをもつが、画像は空間的な冗長性が大きく、周辺から比較的簡単に補間(インペイント)が可能である

  • 入力に強く反応する層を見る

    • $\boldsymbol{x}$を入力した際, 各層の出力が最大となる $\boldsymbol{x}$を並べてみる
    • 例えば, エッジを検出するフィルタであれば, エッジのない画像では値が小さくなる → 値の大きいほうが強く反応
    • ただ, これが画像以外でも通用するのかどうかはよくわからない → todo

#* 理論的な分析

  • Optimizer : 更新幅・モメンタムを見る

  • マクローリン展開

  • 誤差逆伝播で寄与度を直接計算するなど

#* パターン

  • 抽象化してapply

  • 計算量削減

  • 帰納バイアスに則る

  • 〇〇を学習可能なパラメタにする

    • 例1. 既存手法は一様分布を仮定してるけど, パラメータを持った分布にすり替える
  • よく言われている問題点に着目

  • ヒューリスティックでアドホックなものを改良

    • 例1. Informer
      • 遠い系列を捨てるのではなく, 尤度が低いものを捨てるように
  • 内部空間を考察する = 基本に立ち返る

  • 時間方向に変化させていく

    • lrやパラメタ
    • アイデア→focal lossのgammaを時間変化 (todo)
  • 多段階の学習をオンライン化する

  • 解像度あたりに着目する

  • 固定されているものを動かす

  • 亜種に既存手法をブチこむ

#* Action

  • 論文を読むときに問題点をちゃんと読む
  • 最適化あたりの問題提起・仮説検証を読み込む
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web