Unsupervised Learning of Visual Features by Contrasting Cluster Assignments Prototypical Contrastive Learning of Unsupervised Representations より複雑なことしてる Sinkhorn-Knoppアルゴリズムを用いてクラスの割当を最適化 ...

Sinkhorn-Knoppアルゴリズムによって, 最適輸送距離を近似 ...

各要素 $s_{i,j}$ について, 状態 $(i,j)$ = ノード $(i,j)$ と思えばOK ...

正方行列 すべての行和とすべての列和が1 行列の全成分が0以上 こいつを確率推移行列とするような確率推移は全要素が均一な状態に収束 ...

https://ananas1845.hatenablog.com/entry/2019/12/22/022405 ...

Prototypical Contrastive Learning of Unsupervised Representations と同じ動機 本来類似度が高くても負例ペアは負例ペアとして認識してしまうので, よくないよね → ラベル情報を使いましょう → [* 教師あり対照学習] こうじゃなくて (一番下の犬がtarget) こうしたい ...

はじめに モデルを取っ替えるだけが"“研究"“なら, 研究はただの博打に過ぎない 重要なのは分析と評価である しかし, わかりやすい分析だけでは研究にならない(気がする) したがって, まずは分析手法を徹底的にカテゴライズする必要がある できればこれらのメトリクスを常に表示できるようにしたい ...

...

フーリエの場合は無限に続く正弦波を元に波形を復元する 一方, ウェーブレットの場合は, ウェーブレットと呼ばれる波の断片を寄せ集めて波形を復元する したがって, ウェーブレットの場合は当該箇所を探しに行かなくてはならない だが, これが逆にメリットであり, 時系列情報を保持したまま周波数領域に持っていくようなことができる 例えば下のよう ...

LRPをTransformerにも使用できるようにしたもの LRPでは行列和や行列積に対応できない → いい感じに代替 ...

割と学習が難しいらしい？ Clst: 潜在変数をパッチ単位で分割して, クラスタリング Sep: クラスタ同士を遠ざけるように学習 ...

ソフトマックスにクラスタリングの要素を持ち込んで、不均衡を是正するアルゴリズム. サポートベクターマシンのようなマージン最大化問題を考える ...

Learning to Rank 写真群から動画を復元するイメージかな？ ...