Posts

最適輸送問題

📅 2022/8/10 · ☕ 1 min read

輸送コスト $C_{i,j}$と輸送量 $P_{i,j}$の積を最小化これにエントロピー項のついた, 「エントロピー付き最適輸送コスト」問題になると, Sinkhorn-Knoppアルゴリズムが使えるまた, 双対問題はargminではなくargmaxとなる https://www.slideshare.net/joisino/ss-249394573?from_action=save tips 最適輸送はKLよりも良いことずくし最適輸送は距離構造を利用できる分布の ...

#post

scrapboxのcli-viewer作った

📅 2022/8/3 · ☕ 1 min read

Golangでなにか作ろうということで作ってみた https://github.com/YuigaWada/scrapbox-cli install → go install github.com/YuigaWada/scrapbox-cli/sbox@latest viewerとしての最低限の機能は作ったレンダリング機能 bold → 太文字 hashtag → 背景青 link-color → 青文字リンク機能下の選択スペースから何hopでもリンク辿れる goroutineで読み込むためI/Oをブロックしない検索機能タイトルで検索可 ...

#misc
#post

競プロ

📅 2022/8/2 · ☕ 7 min read

貪欲 deque スタックキューグラフ化 (Graph) BFS DFS Bit全探索 DP 累積和二次元累積和尺取法二分探索 Union-Find ソートダイクストラベルマンフォードワーシャルフロイド最小全域木 PQ セグ木最大流スター型グラフ二次元座標を二部グラフにする(ABC 131 F) dpはとりあえず立式したほうがいい Dpは解けなそうで何でも解けるので、亜種dpを徹底的に試すと良いダブリング ...

【論文メモ】TokenGT: Pure Transformers are Powerful Graph Learners

📅 2022/8/2 · ☕ 2 min read

グラフをそのままTransformerにブチこむ手法 GNNより帰納バイアスが少ないが, GNNよりも良い精度を達成入力についてまず, ノードとエッジをそれぞれ独立なものとして捉え, それぞれを同等にトークン $X$とするそのトークンに, ノードなのかエッジなのかを判別するType Identifiersをconcatして入力トーク ...

【論文メモ】TokenGT: Pure Transformers are Powerful Graph Learners

Monkey saddle

📅 2022/8/2 · ☕ 1 min read

$z=x^3-3xy^2$をMonkey saddleと呼ぶらしい https://en.wikipedia.org/wiki/Monkey_saddle Monkey saddleは退化臨界点である (cf. Morse関数) ...

Morse関数

📅 2022/8/2 · ☕ 1 min read

M を n 次元可微分多様体とする． M 上の $C^∞$ 関数 $f : M → R$の臨界点 $p$が非退化であるとは， $f$ の $p$における Hessian $H_p(f)$ が正則行列となることである．すべての臨界点が非退化であるような関数を Morse 関数とよぶ． https://www.ms.u-tokyo.ac.jp/~kohno/lectures/g1-7.pdf ...

【論文メモ】Why do tree-based models still outperform deep learning on tabular data?

📅 2022/8/1 · ☕ 1 min read

なぜテーブルデータではGBDTなどの決定木ベース手法がNNよりも強いのかについての論文１つ目: NNは高周波数成分の学習に弱いなので, 飛び値的なデータに弱い一方決定木ベース手法は領域を長方形に区切ってるだけなので飛び値的なデータに強い詳しくは拙作→決定木をフルスクラッチで書けるようになろう (CART) NeRFやPerceiver: ...

#論文

【論文メモ】Why do tree-based models still outperform deep learning on tabular data?

【論文メモ】Deformable Attention Transformer

📅 2022/8/1 · ☕ 1 min read

詳しくは輪講スライド Deformable Conv のDeformと同じ grid上のpositionに対して, offset分positionをずらしてAttention 正式なoffsetはbilinear補完によって求めるオブジェクトごとに受容野を歪めることができる ...

#論文

【論文メモ】Prototypical Contrastive Learning of Unsupervised Representations

📅 2022/8/1 · ☕ 1 min read

輪講スライド背景 Instance-wiseな教師なし表現学習 : 加⼯された画像(instance)のペアが同じ元画像に由来するかを識別 MoCo SimCLR SimSiam など Instance-wiseな⼿法における２つの問題点 1- 低次元の特徴だけで識別できるため, 識別はNNにとって簡単なタスク → **⾼密度な情報をエンコードしているとは⾔い難い ** 2- ペア間 ...

【論文メモ】Prototypical Contrastive Learning of Unsupervised Representations

【論文メモ】GSAM - Surrogate Gap Minimization Improves Sharpness-Aware Training

📅 2022/8/1 · ☕ 2 min read

はじめに SAMの改良 (SAM : Sharpness-Aware Minimization) Surrogate Gap Minimization Improves Sharpness-Aware Training 論文メモ問題提起 SAMの計算式では, 本当にフラットな損失点を見つけているとは言えない $$L_\mathcal{S}^\text{SAM}(\mathbf{w}) \triangleq \max_{|\mathbf{\epsilon}|_p\leq\rho} L_\mathcal{S}(\mathbf{w}+\mathbf{\epsilon})$$ 例えば下の図では, 近傍 $f_p$について最適化すると, SAMの場合, 青に収束してしまう危険がある本当に見るべきは以下に定義するsurrogate gap $h(x)$ $$h(x) := f_p(x) - f(x)$$ surrogate gap $h(x)$については, H ...

【論文メモ】GSAM - Surrogate Gap Minimization Improves Sharpness-Aware Training

Toronto Paper Matching System

📅 2022/7/31 · ☕ 0 min read

...

【論文メモ】RegionCLIP: Region-based Language-Image Pretraining

📅 2022/7/30 · ☕ 1 min read

問題点: CLIPは画像全体を用いるため, 物体検出には向かないそこで, 本論文ではCLIPをRegion-text matchingへと拡張した CLIPを用いた open-vocabularyな物体検出タスクが行える open-vocabulary object detection 関連研究としてViLDを挙げている ViLD: Open-vocabulary Object Detection via Vision and Language Knowledge Distillation CVPR22 流れ [RPN](Resion Proposal Network)を用いて候補領域を探す RP ...

#論文

【論文メモ】RegionCLIP: Region-based Language-Image Pretraining

RPN

📅 2022/7/30 · ☕ 1 min read

Resion Proposal Network 背景なのか, 物体が写っているのかだけを識別するサブモジュール Faster-RCNNにおいては, ①RPNで領域を絞ってから, ②それぞれ個々の物体についてラベルを絞っていく Faster-RCNNの学習では, 「RPNの重み更新→モデル全体の重み更新」を繰り返して学習 RPNでは, Anchor boxが背景か物体か / 物体ならばGTとの ...