入力 : 画像 出力 : $(y_{\text{min}},x_{\text{min}},y_{\text{max}},x_{\text{max}},c)$ 普通のMLMと同じ感じで, 学習. $\text{maximize}\sum _{j=1}^L\text{bm}{w}_j\log P({\widetilde{\text{bm}y}}_j|\text{bm}x,{\text{bm}y}_{1:j-1}),$ ...

何らかの基準でマスクして, 説明指標を評価 マスクした画像がOODにならないように, マスクした画像を使って更に学習 マスク方法 → 比較対象は Random / Sobel 比較されている手法は grad / Guided Backprop / Integrated Gradients / SmoothGrad / SG-SQ / VarGrad 最も良い結果が得られたのはSG-SQとVarGrad ...

Saliency Map は Weak dependenceとCompletenessを満たす必要がある Weak dependence Saliency Map $S(x)$ と入力 $x$ に弱い依存関係がある状態 ここでは, $x$ がどの集合に属しているかで $f(x)$ が定まる状態と定義 Completeness Saliency Map $S(x)$ と入力 $x$ から元のモデル $f(x)$が復元できる状態 例えば, バイアス $\mathit{b}$を使わずに生成した $S(x)$では復元でき ...

タスクはVRR (Visual Releationship Recognition) 既存手法はGNNなどが多いが, GNNは近傍しか見ておらず, 自分に近いところの関係しか見ていない 例: 野球 野球選手とバットだけを見るよりも, 周りのキャッチャーやピッチャーの情報もコンテキスト情報として有益 着目物体 $n_s$と物体 $n_o$ と, その関係 $r$ のtripletを入力して, encode encodeしたtripletから, ...

...

...

カーネルを選定するようなサブネットワークを作成する Adapter todo: できればもう一度読み返したい ...

Adapt-and-Adjust (A2), end-to-endの多言語音声認識モデル multilingual language modelをspeach-decoderとする Dual-Adaptersを採用 言語ごとに特徴抽出器を切り替えるイメージ これってほんとに言語ごとに切り替わってるの？ Adapterは Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Modelが初出？ → と思ったら違った 初出: Learning multiple visual domains with residual adapters ...

Decoupling Representation and Classifier for Long-Tailed Recognition と真反対の手法 step1. balancedなデータセットで学習 step2. 特徴量抽出器の重みを固定して, 元のデータセットで線形分類器だけfine-tuning Class-specific F1-Scoreを用いて評価 ...

クラス間の分布が違う=クラス間不均衡による影響についての論文 一般にモデルは「特徴量抽出器」と「クラス分類器」で構成されている クラス間の分布が違う場合, 「特徴量抽出器」と「クラス分類器」のどちらに悪影響か？ 答えは「クラス分類器」 特徴量の抽出においては, そこまで悪い影響はないらしい クラス分類器 : 写像された特徴空間において, ...

不均衡データには正と負の両方の側面がある 正の側面 性能に寄与する → 負の側面 サンプル数が多いクラスに引っ張られて決定境界が歪む → https://arxiv.org/abs/2006.07529 ...

https://arxiv.org/pdf/2202.02664.pdf ...

https://arxiv.org/pdf/2202.08005.pdf ...