自己教師あり学習
【論文メモ】Prototypical Contrastive Learning of Unsupervised Representations
· ☕ 1 min read
輪講スライド 背景 Instance-wiseな教師なし表現学習 : 加⼯された画像(instance)のペアが同じ元画像に由来するかを識別 MoCo SimCLR SimSiam など Instance-wiseな⼿法における2つの問題点 1- 低次元の特徴だけで識別できるため, 識別はNNにとって簡単なタスク → **⾼密度な情報をエンコードしているとは⾔い難い ** 2- ペア間 ...


【論文メモ】Un-Mix
· ☕ 1 min read
$I_A$ にCutMixとMixup を掛ける ( Mixup: $I_{A}^{M}=\lambda I_{1}+(1-\lambda) I_{2}$) 画像の混合比率 $\lambda$ に応じて, 正例間の意味的距離を調節 $$\mathcal{L}_{final}!=!\mathcal{L}_{ori}+\underbrace{\lambda \mathcal{L}_{m}!(I_A^{M} (\downarrow), \hat I_A)}_{\text {normal order of mixtures}}!+!\underbrace{(1!-!\lambda) \mathcal{L}_{m}!(I_A^{M} (\uparrow), \hat I_A)}_{\text {reverse order of mixtures}} $$ Mix方法は, 単純にミニバッチを反転させて, indexごとにmixするだけ Mixup が効いて, より決定境界が明瞭に ...


【論文メモ】Supervised Contrastive Learning
· ☕ 1 min read
Prototypical Contrastive Learning of Unsupervised Representations と同じ動機 本来類似度が高くても負例ペアは負例ペアとして認識してしまうので, よくないよね → ラベル情報を使いましょう → [* 教師あり対照学習] こうじゃなくて (一番下の犬がtarget) こうしたい ...