【論文メモ】Transformer Interpretability Beyond Attention Visualization 📅 2022/6/8 · ☕ 1 min read LRPをTransformerにも使用できるようにしたもの LRPでは行列和や行列積に対応できない → いい感じに代替 ... #論文 #説明性
【論文メモ】IA-RED2 📅 2022/5/28 · ☕ 1 min read AdaViTから引用されている パッチを途中でdropさせることができる めちゃくちゃ速い 強化学習っぽく学習 ... #論文 #説明性
【論文メモ】ROAR 📅 2022/5/20 · ☕ 1 min read 何らかの基準でマスクして, 説明指標を評価 マスクした画像がOODにならないように, マスクした画像を使って更に学習 マスク方法 → 比較対象は Random / Sobel 比較されている手法は grad / Guided Backprop / Integrated Gradients / SmoothGrad / SG-SQ / VarGrad 最も良い結果が得られたのはSG-SQとVarGrad ... #論文 #説明性
【論文メモ】FullGrad 📅 2022/5/18 · ☕ 1 min read Saliency Map は Weak dependenceとCompletenessを満たす必要がある Weak dependence Saliency Map S(x) と入力 x に弱い依存関係がある状態 ここでは, x がどの集合に属しているかで f(x) が定まる状態と定義 Completeness Saliency Map S(x) と入力 x から元のモデル f(x)が復元できる状態 例えば, バイアス bを使わずに生成した S(x)では復元でき ... #論文 #説明性