【論文メモ】SiT
· ☕ 0 min read
...
【論文メモ】Learning multiple visual domains with residual adapters
· ☕ 1 min read
カーネルを選定するようなサブネットワークを作成する Adapter todo: できればもう一度読み返したい ...
【論文メモ】Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition
· ☕ 1 min read
Adapt-and-Adjust (A2), end-to-endの多言語音声認識モデル multilingual language modelをspeach-decoderとする Dual-Adaptersを採用 言語ごとに特徴抽出器を切り替えるイメージ これってほんとに言語ごとに切り替わってるの？ Adapterは Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Modelが初出？ → と思ったら違った 初出: Learning multiple visual domains with residual adapters ...
【論文メモ】Two-phase training mitigates class imbalance for camera trap image classification with CNNs
· ☕ 1 min read
Decoupling Representation and Classifier for Long-Tailed Recognition と真反対の手法 step1. balancedなデータセットで学習 step2. 特徴量抽出器の重みを固定して, 元のデータセットで線形分類器だけfine-tuning Class-specific F1-Scoreを用いて評価 ...
【論文メモ】Decoupling Representation and Classifier for Long-Tailed Recognition
· ☕ 1 min read
クラス間の分布が違う=クラス間不均衡による影響についての論文 一般にモデルは「特徴量抽出器」と「クラス分類器」で構成されている クラス間の分布が違う場合, 「特徴量抽出器」と「クラス分類器」のどちらに悪影響か？ 答えは「クラス分類器」 特徴量の抽出においては, そこまで悪い影響はないらしい クラス分類器 : 写像された特徴空間において, ...
【論文メモ】Rethinking the Value of Labels for Improving Class-Imbalanced Learning
· ☕ 1 min read
不均衡データには正と負の両方の側面がある 正の側面 性能に寄与する → 負の側面 サンプル数が多いクラスに引っ張られて決定境界が歪む → https://arxiv.org/abs/2006.07529 ...
【論文メモ】No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models
· ☕ 1 min read
https://arxiv.org/pdf/2202.02664.pdf ...
【論文メモ】Should You Mask 15% in Masked Language Modeling?
· ☕ 1 min read
https://arxiv.org/pdf/2202.08005.pdf ...
活性拡散
· ☕ 1 min read
知識グラフ / GNN https://www.sciencedirect.com/topics/computer-science/spreading-activation#:~:text=Spreading%20activation%20is%20the%20name,on%20the%20associations%20among%20chunks. ...
【論文メモ】Masked Siamese Networks for Label-Efficient Learning
· ☕ 1 min read
MAEっぽく, パッチをマスクしたものと元画像の間でSiamese Network https://www.slideshare.net/DeepLearningJP2016/dlmasked-siamese-networks-for-labelefficient-learning ...
Mercer's theorem
· ☕ 1 min read
積分作用素を定義 https://en.wikipedia.org/wiki/Mercer's_theorem https://yagami12.hatenablog.com/entry/2018/12/02/192137#Mercerの定理 ...
