...

カーネルを選定するようなサブネットワークを作成する Adapter todo: できればもう一度読み返したい ...

Adapt-and-Adjust (A2), end-to-endの多言語音声認識モデル multilingual language modelをspeach-decoderとする Dual-Adaptersを採用 言語ごとに特徴抽出器を切り替えるイメージ これってほんとに言語ごとに切り替わってるの？ Adapterは Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Modelが初出？ → と思ったら違った 初出: Learning multiple visual domains with residual adapters ...

Decoupling Representation and Classifier for Long-Tailed Recognition と真反対の手法 step1. balancedなデータセットで学習 step2. 特徴量抽出器の重みを固定して, 元のデータセットで線形分類器だけfine-tuning Class-specific F1-Scoreを用いて評価 ...

クラス間の分布が違う=クラス間不均衡による影響についての論文 一般にモデルは「特徴量抽出器」と「クラス分類器」で構成されている クラス間の分布が違う場合, 「特徴量抽出器」と「クラス分類器」のどちらに悪影響か？ 答えは「クラス分類器」 特徴量の抽出においては, そこまで悪い影響はないらしい クラス分類器 : 写像された特徴空間において, ...

不均衡データには正と負の両方の側面がある 正の側面 性能に寄与する → 負の側面 サンプル数が多いクラスに引っ張られて決定境界が歪む → https://arxiv.org/abs/2006.07529 ...

https://arxiv.org/pdf/2202.02664.pdf ...

https://arxiv.org/pdf/2202.08005.pdf ...

知識グラフ / GNN https://www.sciencedirect.com/topics/computer-science/spreading-activation#:~:text=Spreading%20activation%20is%20the%20name,on%20the%20associations%20among%20chunks. ...

MAEっぽく, パッチをマスクしたものと元画像の間でSiamese Network https://www.slideshare.net/DeepLearningJP2016/dlmasked-siamese-networks-for-labelefficient-learning ...

積分作用素を定義 https://en.wikipedia.org/wiki/Mercer's_theorem https://yagami12.hatenablog.com/entry/2018/12/02/192137#Mercerの定理 ...

Self-Distillation が如何に効いているかを理論的に解析 Mercer’s theorem https://arxiv.org/pdf/2002.05715.pdf ...

https://www.ismll.uni-hildesheim.de/pub/pdfs/pakdd_shayan.pdf ...