todo https://webbeginner.hatenablog.com/entry/2020/06/26/120000#:~:text=2つの相関係数の違い&text=ピアソンの相関係数では%E3%80%81変数の値そのもの,順位を利用します%E3%80%82&text=正規分布に従うことを,を作ってい ...

reweightingはただのsoft-margin SVMと同等になるらしい ...

Attentionは２つに大別される Self-Attention SourceTarget-Attention ↓ 引用 : https://www.arithmer.co.jp/post/20210413 ...

https://qiita.com/sugulu_Ogawa_ISID/items/62f5f7adee083d96a587#31-ampautomatic-mixed-precision機能について ...

float16とfloat32を混ぜて(Mixed)計算することで, GPUのMEM使用率を抑えることができる 計算スピードも幾分速くなるらしい 略してamp https://qiita.com/Sosuke115/items/40265e6aaf2e414e2fea https://tawara.hatenablog.com/entry/2021/05/31/220936 ...

外れ値に強く, MSEよりもロバスト性が高い ...

#PyTorch ...

Decoupling Representation and Classifier for Long-Tailed Recognition を引用 新規性は以下の２つ Adaptive Calibration Function Alignment with Generalized Re-weighting Adaptive Calibration Function 分類器の出力 $\boldsymbol{z}$を線形変換して重み付け + marginを加える Alignment with Generalized Re-weighting targetの確率に重み付け https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Distribution_Alignment_A_Unified_Framework_for_Long-Tail_Visual_Recognition_CVPR_2021_paper.pdf ...

BeiTと同様にトークンベース ...

EMアルゴリズムとの関連 ↓ どうやらEMアルゴリズムと深い関係があるらしいことが論文中にも書いてある https://speakerdeck.com/sansandsoc/simsiam-exploring-simple-siamese-representation-learning?slide=17 ...

MomentumやAdamといった移動平均を使うオプティマイザーなら、移動平均を取るための勾配の蓄積が足りないと, 学習の初期段階において値の信頼度が低い（よって変な値が出て精度を損ねる）ということも考えられます。 https://qiita.com/omiita/items/d24568a835da6911b01e ...

cosアニーリング warm-restart cyclical-learning rate バッチサイズと深い関係がある 学習率の決め方 https://www.slideshare.net/TakujiTahara/20190713-kaggle-tokyo-meetup-lt-nn-no-gokigentori-tawara-155334755 ...

基本的にはsumを取れば良いらしい PyTorchだと普通に呼び出せばそのまま重みの共有になるらしい https://vasteelab.com/2022/01/31/post-1951/ http://neural.vision/blog/deep-learning/backpropagation-with-shared-weights/ ...