【論文メモ】Transformer Interpretability Beyond Attention Visualization 📅 2022/6/8 · ☕ 1 min read LRPをTransformerにも使用できるようにしたもの LRPでは行列和や行列積に対応できない → いい感じに代替 ... #論文 #説明性
【論文メモ】IA-RED2 📅 2022/5/28 · ☕ 1 min read AdaViTから引用されている パッチを途中でdropさせることができる めちゃくちゃ速い 強化学習っぽく学習 ... #論文 #説明性
【論文メモ】ROAR 📅 2022/5/20 · ☕ 1 min read 何らかの基準でマスクして, 説明指標を評価 マスクした画像がOODにならないように, マスクした画像を使って更に学習 マスク方法 → 比較対象は Random / Sobel 比較されている手法は grad / Guided Backprop / Integrated Gradients / SmoothGrad / SG-SQ / VarGrad 最も良い結果が得られたのはSG-SQとVarGrad ... #論文 #説明性
【論文メモ】FullGrad 📅 2022/5/18 · ☕ 1 min read Saliency Map は Weak dependenceとCompletenessを満たす必要がある Weak dependence Saliency Map $S(x)$ と入力 $x$ に弱い依存関係がある状態 ここでは, $x$ がどの集合に属しているかで $f(x)$ が定まる状態と定義 Completeness Saliency Map $S(x)$ と入力 $x$ から元のモデル $f(x)$が復元できる状態 例えば, バイアス $\boldsymbol{b}$を使わずに生成した $S(x)$では復元でき ... #論文 #説明性