Posts

Pyramid Vision Transformer PVT v2では Positional Encodingが存在しない https://twitter.com/yu4u/status/1522360958228000769 FFNにzero padding付きのdepthwise convを入れることで位置情報をencodeさせて, Positional Encodingを置換 zero paddingに重要性がある → How Much Position Information Do Convolutional Neural Networks Encode? ...

#論文

【論文メモ】AdaViT

📅 2022/5/9 · ☕ 1 min read

残差構造・selection構造を組み込んだViT Patch Selection : パッチを選定 Head Selection : ヘッドを選定 Block Selection : MHA・FFNを使うかどうか選定 https://arxiv.org/abs/2111.15668 ...

#論文

【論文メモ】Attention on Attention

📅 2022/5/9 · ☕ 1 min read

https://arxiv.org/abs/1908.06954 ...

#論文

Better plain ViT baselines for ImageNet-1k

📅 2022/5/6 · ☕ 1 min read

The main differences from [4, 12 are a batch-size of 1024 instead of 4096, the use of global average-pooling (GAP) instead of a class token [2, 11 , fixed 2D sin-cos position embeddings [2, and the introduction of a small amount of RandAugment [3 and Mixup [21 (level 10 and probability 0.2 respectively, which is less than [12). These small changes lead to significantly better performance than that originally reported in [4. https://arxiv.org/pdf/2205.01580.pdf ...

#post

Better plain ViT baselines for ImageNet-1k

スピアマン相関係数　

📅 2022/5/6 · ☕ 1 min read

todo https://webbeginner.hatenablog.com/entry/2020/06/26/120000#:~:text=2つの相関係数の違い&text=ピアソンの相関係数では%E3%80%81変数の値そのもの,順位を利用します%E3%80%82&text=正規分布に従うことを,を作ってい ...

#post

【論文メモ】How Much Position Information Do Convolutional Neural Networks Encode?

📅 2022/5/6 · ☕ 1 min read

仮説 : CNNは絶対的な位置情報を獲得している PoSENet : 位置情報のmapを予測するモデルを構築して仮説を検証 $f_{enc}$が位置情報がエンコードするなら, $f_{enc}$の中間層の出力から, 位置情報を復元できるはず f1よりもf5のほうが位置mapの精度が高いより深い層のほうがより強く位置情報を保持している仮説「位置情報は ...

#論文

【論文メモ】How Much Position Information Do Convolutional Neural Networks Encode?

不均衡データ

📅 2022/5/1 · ☕ 1 min read

reweightingはただのsoft-margin SVMと同等になるらしい ...

#post