Yuiga Wada (和田唯我) @YuigaWada (alias: YuWd) 慶應義塾大学 理工学部 情報工学科 B4 Computer Science | Philosophy | Literature Blog / Twitter / GitHub ブログを読んでほしい(切実) Skill Swift / Objective-C Python / PyTorch Rust Golang C++ / C C# OCaml Typescript: Vue, Nuxt, … etc Java Javascript psql Major Machine Learning Computer Science Fav & Hobby Philosophy Heidegger Husserl Literature Haruki Murakami Osamu Dazai Kobo Abe Anime Attack on Titan JOJO Programing 競プロ (AtCoder, Highest: 1545) iOS Web Frontend & Backend System Programming … ? Machine Learning (PyTorch) Survey paper 機械学習 Work iCimulator: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. (Swift) PolioPager: A flexible TabBarController library with search tab like SNKRS (Swift) CallSlicer : A tweak that enables your Apple Watch to ...

モチベーション CLIPは単位行列を教師として学習する → バッチ内の負例同士にゆるい相関があった場合, 負例を全て0として学習するのは違うよね → 最適輸送問題を解いたものを教師として活用しよう OTTER (Optimal TransporT distillation for Efficient zero-shot Recognition) を提案 Prototypical Contrastive Learning of Unsupervised Representationsと若干同じ感じ loss InfoNCEを拡張して $$\mathcal{L}_v = -\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^N [\alpha I_{ij} + (1-\alpha) M^{v}_{ij}\rbrack \log p_v(\mathbf{z}_i^v, \mathbf{z}_j^t;\tau)$$ とする イ ...

輸送コスト $C_{i,j}$と輸送量 $P_{i,j}$の積を最小化 これにエントロピー項のついた, 「エントロピー付き最適輸送コスト」問題になると, Sinkhorn-Knoppアルゴリズムが使える また, 双対問題はargminではなくargmaxとなる https://www.slideshare.net/joisino/ss-249394573?from_action=save tips 最適輸送はKLよりも良いことずくし 最適輸送は距離構造を利用できる 分布の ...

Golangでなにか作ろうということで作ってみた https://github.com/YuigaWada/scrapbox-cli install → go install github.com/YuigaWada/scrapbox-cli/sbox@latest viewerとしての最低限の機能は作った レンダリング機能 bold → 太文字 hashtag → 背景青 link-color → 青文字 リンク機能 下の選択スペースから何hopでもリンク辿れる goroutineで読み込むためI/Oをブロックしない 検索機能 タイトルで検索可 ...

貪欲 deque スタック キュー グラフ化 (Graph) BFS DFS Bit全探索 DP 累積和 二次元累積和 尺取法 二分探索 Union-Find ソート ダイクストラ ベルマンフォード ワーシャルフロイド 最小全域木 PQ セグ木 最大流 スター型グラフ 二次元座標を二部グラフにする(ABC 131 F) dpはとりあえず立式したほうがいい Dpは解けなそうで何でも解けるので、亜種dpを徹底的に試すと良い ダブリング ...

グラフをそのままTransformerにブチこむ手法 GNNより帰納バイアスが少ないが, GNNよりも良い精度を達成 入力について まず, ノードとエッジをそれぞれ独立なものとして捉え, それぞれを同等にトークン $X$とする そのトークンに, ノードなのかエッジなのかを判別するType Identifiersをconcatして入力 トーク ...

$z=x^3-3xy^2$をMonkey saddleと呼ぶらしい https://en.wikipedia.org/wiki/Monkey_saddle Monkey saddleは退化臨界点である (cf. Morse関数) ...

M を n 次元可微分多様体とする． M 上の $C^∞$ 関数 $f : M → R$の臨界点 $p$が非退化であるとは， $f$ の $p$における Hessian $H_p(f)$ が正則行列となることである．すべての臨界点が非退化であるような関数を Morse 関数とよぶ． https://www.ms.u-tokyo.ac.jp/~kohno/lectures/g1-7.pdf ...

なぜテーブルデータではGBDTなどの決定木ベース手法がNNよりも強いのかについての論文 １つ目: NNは高周波数成分の学習に弱い なので, 飛び値的なデータに弱い 一方決定木ベース手法は領域を長方形に区切ってるだけなので飛び値的なデータに強い 詳しくは拙作→決定木をフルスクラッチで書けるようになろう (CART) NeRFやPerceiver: ...

詳しくは輪講スライド Deformable Conv のDeformと同じ grid上のpositionに対して, offset分positionをずらしてAttention 正式なoffsetはbilinear補完によって求める オブジェクトごとに受容野を歪めることができる ...

輪講スライド 背景 Instance-wiseな教師なし表現学習 : 加⼯された画像(instance)のペアが同じ元画像に由来するかを識別 MoCo SimCLR SimSiam など Instance-wiseな⼿法における２つの問題点 1- 低次元の特徴だけで識別できるため, 識別はNNにとって簡単なタスク → **⾼密度な情報をエンコードしているとは⾔い難い ** 2- ペア間 ...

はじめに SAMの改良 (SAM : Sharpness-Aware Minimization) Surrogate Gap Minimization Improves Sharpness-Aware Training 論文メモ 問題提起 SAMの計算式では, 本当にフラットな損失点を見つけているとは言えない $$L_\mathcal{S}^\text{SAM}(\mathbf{w}) \triangleq \max_{|\mathbf{\epsilon}|_p\leq\rho} L_\mathcal{S}(\mathbf{w}+\mathbf{\epsilon})$$ 例えば下の図では, 近傍 $f_p$について最適化すると, SAMの場合, 青に収束してしまう危険がある 本当に見るべきは以下に定義するsurrogate gap $h(x)$ $$h(x) := f_p(x) - f(x)$$ surrogate gap $h(x)$については, H ...

...