論文 – 行李の底に収めたり[YuWd]

【論文メモ】Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

📅 2022/6/19 · ☕ 1 min read

Domain Adaptation 従来手法 : sourceとtargetとで分布が違うはずなのに, ドメイン同士の境界(赤線)を基準に近づけようとしている → 分布の違いを考慮しつつ決定境界を修正する必要がある → GAN GAN風に学習する２つのclassifierとそれらを生成するgenerator ...

#論文

【論文メモ】Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

【論文メモ】Manifold Mixup: Better Representations by Interpolating Hidden States

📅 2022/6/15 · ☕ 1 min read

どういうの？無作為に選んだ層までは普通に計算して，その層の出力の複数をランダムに選んでMixup そのままその値を使って最終層まで計算＆lossを計算し, 逆伝播決定境界が滑らかになるらしい簡単に説明すると, まず特徴量空間上で特徴量がflattenな状態に収束していくらしい flatten=小さい部分空間で表現できるというこ ...

#論文

【論文メモ】Manifold Mixup: Better Representations by Interpolating Hidden States

【論文メモ】Un-Mix

📅 2022/6/14 · ☕ 1 min read

I_{A}

にCutMixとMixup を掛ける ( Mixup:

I_{A}^{M} = λ I_{1} + (1 - λ) I_{2}

) 画像の混合比率

λ

に応じて, 正例間の意味的距離を調節

L_{f i n a l}! =! L_{o r i} + \underset{normal order of mixtures}{\underset{⏟}{λ L_{m}! (I_{A}^{M} (↓), {\hat{I}}_{A})}}! +! \underset{reverse order of mixtures}{\underset{⏟}{(1! -! λ) L_{m}! (I_{A}^{M} (↑), {\hat{I}}_{A})}}

Mix方法は, 単純にミニバッチを反転させて, indexごとにmixするだけ Mixup が効いて, より決定境界が明瞭に ...

【論文メモ】SwAV

📅 2022/6/13 · ☕ 1 min read

Unsupervised Learning of Visual Features by Contrasting Cluster Assignments Prototypical Contrastive Learning of Unsupervised Representations より複雑なことしてる Sinkhorn-Knoppアルゴリズムを用いてクラスの割当を最適化 ...

【論文メモ】Sinkhorn Distances: Lightspeed Computation of Optimal Transport

📅 2022/6/13 · ☕ 1 min read

Sinkhorn-Knoppアルゴリズムによって, 最適輸送距離を近似 ...

#論文

【論文メモ】Supervised Contrastive Learning

📅 2022/6/12 · ☕ 1 min read

Prototypical Contrastive Learning of Unsupervised Representations と同じ動機本来類似度が高くても負例ペアは負例ペアとして認識してしまうので, よくないよね → ラベル情報を使いましょう → [* 教師あり対照学習] こうじゃなくて (一番下の犬がtarget) こうしたい ...

【論文メモ】Multi-level Wavelet Convolutional Neural Networks

📅 2022/6/9 · ☕ 0 min read

...

【論文メモ】Transformer Interpretability Beyond Attention Visualization

📅 2022/6/8 · ☕ 1 min read

LRPをTransformerにも使用できるようにしたもの LRPでは行列和や行列積に対応できない → いい感じに代替 ...

【論文メモ】Transformer Interpretability Beyond Attention Visualization

【論文メモ】This Looks Like That: Deep Learning for Interpretable Image Recognition

📅 2022/6/8 · ☕ 1 min read

割と学習が難しいらしい？ Clst: 潜在変数をパッチ単位で分割して, クラスタリング Sep: クラスタ同士を遠ざけるように学習 ...

#論文

【論文メモ】This Looks Like That: Deep Learning for Interpretable Image Recognition

【論文メモ】Affinity loss

📅 2022/6/8 · ☕ 1 min read

ソフトマックスにクラスタリングの要素を持ち込んで、不均衡を是正するアルゴリズム. サポートベクターマシンのようなマージン最大化問題を考える ...

【論文メモ】Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

📅 2022/6/7 · ☕ 1 min read

事後的な説明性は必ず近似を含むので, モデルの説明にはならないなので近似を含ませずに直接解釈可能なモデルを作らねばならないステークホルダーは解釈可能性よりも, とりあえず「説明」がほしいということがよくあるなので, 決定木ベースであったり, スコアリングベースの手法がビジネスで使われてしまうまたステークホルダーは説明性を出力し ...

【論文メモ】Less complexity one-class classification approach using construction error of convolutional image transformation network

📅 2022/5/29 · ☕ 1 min read

如何に異常検知を行うか？例えば, りんご以外を弾くようなモデルはどのように作れば良いのか本論文では, AutoEncoder と同じ格好で, りんごだけをすべてLennaに変換するように学習するなので, りんごでない部分が入力された際は変な画像が生成されてしまうことになる ...

【論文メモ】Less complexity one-class classification approach using construction error of convolutional image transformation network

【論文メモ】IA-RED2

📅 2022/5/28 · ☕ 1 min read

AdaViTから引用されているパッチを途中でdropさせることができるめちゃくちゃ速い強化学習っぽく学習 ...