【論文メモ】No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models
· ☕ 1 min read
https://arxiv.org/pdf/2202.02664.pdf ...
論文
【論文メモ】Should You Mask 15% in Masked Language Modeling?
· ☕ 1 min read
https://arxiv.org/pdf/2202.08005.pdf ...
【論文メモ】Masked Siamese Networks for Label-Efficient Learning
· ☕ 1 min read
MAEっぽく, パッチをマスクしたものと元画像の間でSiamese Network https://www.slideshare.net/DeepLearningJP2016/dlmasked-siamese-networks-for-labelefficient-learning ...
【論文メモ】Self-Distillation Amplifies Regularization in Hilbert Space
· ☕ 1 min read
Self-Distillation が如何に効いているかを理論的に解析 Mercer’s theorem https://arxiv.org/pdf/2002.05715.pdf ...
【論文メモ】Self-Supervised Learning for Semi-Supervised Time Series Classification
· ☕ 1 min read
https://www.ismll.uni-hildesheim.de/pub/pdfs/pakdd_shayan.pdf ...
【論文メモ】Self-supervised Learning is More Robust to Dataset Imbalance
· ☕ 1 min read
自己教師あり学習 → 不均衡データに対して強いロバスト性あり ラベルに囚われない表現も学習してくれるので, ロバスト性が強い 事前学習時はSAMを使うとよいらしい (SAM : Sharpness-Aware Minimization) ...
【論文メモ】PVT
· ☕ 1 min read
Pyramid Vision Transformer PVT v2では Positional Encodingが存在しない https://twitter.com/yu4u/status/1522360958228000769 FFNにzero padding付きのdepthwise convを入れることで位置情報をencodeさせて, Positional Encodingを置換 zero paddingに重要性がある → How Much Position Information Do Convolutional Neural Networks Encode? ...
【論文メモ】AdaViT
· ☕ 1 min read
残差構造・selection構造を組み込んだViT Patch Selection : パッチを選定 Head Selection : ヘッドを選定 Block Selection : MHA・FFNを使うかどうか選定 https://arxiv.org/abs/2111.15668 ...
【論文メモ】How Much Position Information Do Convolutional Neural Networks Encode?
· ☕ 1 min read
仮説 : CNNは絶対的な位置情報を獲得している PoSENet : 位置情報のmapを予測するモデルを構築して仮説を検証 $f_{enc}$が位置情報がエンコードするなら, $f_{enc}$の中間層の出力から, 位置情報を復元できるはず f1よりもf5のほうが位置mapの精度が高い より深い層のほうがより強く位置情報を保持している 仮説「位置情報は ...
【論文メモ】cosFormer
· ☕ 1 min read
ICLR 2022 普通のTransformer $$Attention(Q, K, V)_i = \frac{\sum_{j=1}^n\exp(q_i^Tk_j)\cdot v_j}{\sum_{j=1}^n\exp(q_i^Tk_j)}$$ expが括り出せれば, iとjとで分離できる → Linear Attention: Transformers are RNNs Attentionにおけるsoftmaxの重要な特性 Attention Matrix $A$が非負であること ReLUの場合を考えてみると, 負の値を0とすることで, 不要な値・誤った情報を掻き消すことができる 非線形な重み付け ReLUよりもsoftmaxのほ ...