https://yuiga.dev/blog/en/tags/%E8%87%AA%E5%B7%B1%E6%95%99%E5%B8%AB%E3%81%82%E3%82%8A%E5%AD%A6%E7%BF%92/ Recent content in 自己教師あり学習 on 行李の底に収めたり[YuWd] Hugo -- gohugo.io en ©2026, All Rights Reserved Tue, 18 Oct 2022 19:34:11 +0900 https://yuiga.dev/blog/en/ja/posts/simcse/ Tue, 18 Oct 2022 19:34:11 +0900 Tue, 18 Oct 2022 19:34:11 +0900 https://yuiga.dev/blog/en/ja/posts/simcse/ ENMLP21 Supervised SimCSE 含意関係にある文を正例として対照学習 NLIデータセット Unsupervised SimCSE 同じ文を二回埋め込んで対照学習 dropoutの影響で微かに異なる二つのベクトルに対して対照学習 引用: https://www.slideshare.net/DeepLearningJP2016/dlsimcse-simple-contrastive-learning-of-sentence-embeddings-emnlp-2021 YuWd (Yuiga Wada) featured image 論文 自己教師あり学習 NLP https://yuiga.dev/blog/en/ja/posts/prototypical_contrastive_learning_of_unsupervised_representations/ Mon, 01 Aug 2022 20:17:52 +0900 Mon, 01 Aug 2022 20:17:52 +0900 https://yuiga.dev/blog/en/ja/posts/prototypical_contrastive_learning_of_unsupervised_representations/ 輪講スライド 背景 Instance-wiseな教師なし表現学習 : 加⼯された画像(instance)のペアが同じ元画像に由来するかを識別 MoCo SimCLR SimSiam など Instance-wiseな⼿法における２つの問題点 1- 低次元の特徴だけで識別できるため, 識別はNNにとって簡単なタスク → **⾼密度な情報をエンコードしているとは⾔い難い ** 2- ペア間 YuWd (Yuiga Wada) featured image 論文 対照学習 自己教師あり学習 EMアルゴリズム https://yuiga.dev/blog/en/ja/posts/un-mix/ Tue, 14 Jun 2022 22:30:40 +0900 Tue, 14 Jun 2022 22:30:40 +0900 https://yuiga.dev/blog/en/ja/posts/un-mix/ $I_A$ にCutMixとMixup を掛ける ( Mixup: $I_{A}^{M}=\lambda I_{1}+(1-\lambda) I_{2}$) 画像の混合比率 $\lambda$ に応じて, 正例間の意味的距離を調節 $$\mathcal{L}_{final}!=!\mathcal{L}_{ori}+\underbrace{\lambda \mathcal{L}_{m}!(I_A^{M} (\downarrow), \hat I_A)}_{\text {normal order of mixtures}}!+!\underbrace{(1!-!\lambda) \mathcal{L}_{m}!(I_A^{M} (\uparrow), \hat I_A)}_{\text {reverse order of mixtures}} $$ Mix方法は, 単純にミニバッチを反転させて, indexごとにmixするだけ Mixup が効いて, より決定境界が明瞭に YuWd (Yuiga Wada) featured image 自己教師あり学習 論文 https://yuiga.dev/blog/en/ja/posts/swav/ Mon, 13 Jun 2022 22:46:58 +0900 Mon, 13 Jun 2022 22:46:58 +0900 https://yuiga.dev/blog/en/ja/posts/swav/ Unsupervised Learning of Visual Features by Contrasting Cluster Assignments Prototypical Contrastive Learning of Unsupervised Representations より複雑なことしてる Sinkhorn-Knoppアルゴリズムを用いてクラスの割当を最適化 YuWd (Yuiga Wada) featured image 自己教師あり学習 クラスタリング 論文 https://yuiga.dev/blog/en/ja/posts/supervised_contrastive_learning/ Sun, 12 Jun 2022 19:19:07 +0900 Sun, 12 Jun 2022 19:19:07 +0900 https://yuiga.dev/blog/en/ja/posts/supervised_contrastive_learning/ Prototypical Contrastive Learning of Unsupervised Representations と同じ動機 本来類似度が高くても負例ペアは負例ペアとして認識してしまうので, よくないよね → ラベル情報を使いましょう → [* 教師あり対照学習] こうじゃなくて (一番下の犬がtarget) こうしたい YuWd (Yuiga Wada) featured image 論文 自己教師あり学習 https://yuiga.dev/blog/en/ja/posts/rethinking_the_value_of_labels_for_improving_class-imbalanced_learning/ Tue, 10 May 2022 20:32:05 +0900 Tue, 10 May 2022 20:32:05 +0900 https://yuiga.dev/blog/en/ja/posts/rethinking_the_value_of_labels_for_improving_class-imbalanced_learning/ 不均衡データには正と負の両方の側面がある 正の側面 性能に寄与する → 負の側面 サンプル数が多いクラスに引っ張られて決定境界が歪む → https://arxiv.org/abs/2006.07529 YuWd (Yuiga Wada) 論文 todo 自己教師あり学習