論文
【論文メモ】Un-Mix
· ☕ 1 min read
$I_A$ にCutMixとMixup を掛ける ( Mixup: $I_{A}^{M}=\lambda I_{1}+(1-\lambda) I_{2}$) 画像の混合比率 $\lambda$ に応じて, 正例間の意味的距離を調節 $$\mathcal{L}_{final}!=!\mathcal{L}_{ori}+\underbrace{\lambda \mathcal{L}_{m}!(I_A^{M} (\downarrow), \hat I_A)}_{\text {normal order of mixtures}}!+!\underbrace{(1!-!\lambda) \mathcal{L}_{m}!(I_A^{M} (\uparrow), \hat I_A)}_{\text {reverse order of mixtures}} $$ Mix方法は, 単純にミニバッチを反転させて, indexごとにmixするだけ Mixup が効いて, より決定境界が明瞭に ...


【論文メモ】Supervised Contrastive Learning
· ☕ 1 min read
Prototypical Contrastive Learning of Unsupervised Representations と同じ動機 本来類似度が高くても負例ペアは負例ペアとして認識してしまうので, よくないよね → ラベル情報を使いましょう → [* 教師あり対照学習] こうじゃなくて (一番下の犬がtarget) こうしたい ...


【論文メモ】Affinity loss
· ☕ 1 min read
ソフトマックスにクラスタリングの要素を持ち込んで、不均衡を是正するアルゴリズム. サポートベクターマシンのようなマージン最大化問題を考える ...

【論文メモ】Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
· ☕ 1 min read
事後的な説明性は必ず近似を含むので, モデルの説明にはならない なので近似を含ませずに直接解釈可能なモデルを作らねばならない ステークホルダーは解釈可能性よりも, とりあえず「説明」がほしいということがよくある なので, 決定木ベースであったり, スコアリングベースの手法がビジネスで使われてしまう またステークホルダーは説明性を出力し ...

【論文メモ】Less complexity one-class classification approach using construction error of convolutional image transformation network
· ☕ 1 min read
如何に異常検知を行うか? 例えば, りんご以外を弾くようなモデルはどのように作れば良いのか 本論文では, AutoEncoder と同じ格好で, りんごだけをすべてLennaに変換するように学習する なので, りんごでない部分が入力された際は変な画像が生成されてしまうことになる ...


【論文メモ】IA-RED2
· ☕ 1 min read
AdaViTから引用されている パッチを途中でdropさせることができる めちゃくちゃ速い 強化学習っぽく学習 ...

【論文メモ】MixFormer
· ☕ 1 min read
SwinTransformer の Local-window と, DwConv (PointWise・Depthwise) を並列に接続 なぜ? ...


【論文メモ】CycleMLP
· ☕ 1 min read
従来のMLPモデルの問題点を克服 (Channel FC:性能が不十分、Spatial FC:計算量が多い) 任意の画像サイズに対応可能なCycle FCを提案 SwinTransformerよりも受容野が広いらしい ...