Golang: appendの挙動
· ☕ 1 min read
1 2 s := append(str[:j], hoge...) s = append(s, str[j:]...) こういうコードでバグるときがある そもそもappendとはどういうものか? append(str[:j](https://scrapbox.io/yuwd/%3Aj),hoge...)をすると, appendはまずcap(str)を見る cap(str)にhogeが入りきらないとわかると, より長い配列を作成 ...

日本語キャプションデータセット
· ☕ 1 min read
STAIR MSCOCOにキャプションを付与 全部で820,310件のキャプション http://captions.stair.center/ Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi, “STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset”, Annual Meeting of the Association for Computational Linguistics (ACL), Short Paper, 2017. YJ Captions 26k Dataset こちらもMSCOCOにキャプションを付与したもので, ACL2016 キャプション数がSTAIRの1/6程度 https://github.com/yahoojapan/YJCaptions Takashi Miyazaki and Nobuyuki Shimizu. 2016. Cross-Lingual Image Caption Generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1780 ...

About Me (Yuiga Wada, YuWd, 和田唯我)
· ☕ 3 min read
Yuiga Wada (和田唯我) @YuigaWada (alias: YuWd) 慶應義塾大学 理工学部 情報工学科 B4 Computer Science | Philosophy | Literature Blog / Twitter / GitHub Skill Swift / Objective-C Python / PyTorch Rust Golang C++ / C C# OCaml Typescript: Vue, Nuxt, … etc Java Javascript psql Major Machine Learning Computer Science Fav & Hobby Philosophy Heidegger Husserl Literature Haruki Murakami Osamu Dazai Kobo Abe Anime Attack on Titan JOJO Programing 競プロ (AtCoder, Highest: 1545) iOS Web Frontend & Backend System Programming … ? Machine Learning (PyTorch) Survey paper 機械学習 Work iCimulator: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. (Swift) PolioPager: A flexible TabBarController library with search tab like SNKRS (Swift) CallSlicer : A tweak that enables your Apple Watch to show a third-party incoming call. (Objective-C) YanagiText: A lightweight TextView where can be attached ...


【論文メモ】OTTER: Data Efficient Language-Supervised Zero-Shot Recognition with Optimal Transport Distillation
· ☕ 1 min read
モチベーション CLIPは単位行列を教師として学習する → バッチ内の負例同士にゆるい相関があった場合, 負例を全て0として学習するのは違うよね → 最適輸送問題を解いたものを教師として活用しよう OTTER (Optimal TransporT distillation for Efficient zero-shot Recognition) を提案 Prototypical Contrastive Learning of Unsupervised Representationsと若干同じ感じ loss InfoNCEを拡張して $$\mathcal{L}_v = -\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^N [\alpha I_{ij} + (1-\alpha) M^{v}_{ij}\rbrack \log p_v(\mathbf{z}_i^v, \mathbf{z}_j^t;\tau)$$ とする イ ...


最適輸送問題
· ☕ 1 min read
輸送コスト $C_{i,j}$と輸送量 $P_{i,j}$の積を最小化 これにエントロピー項のついた, 「エントロピー付き最適輸送コスト」問題になると, Sinkhorn-Knoppアルゴリズムが使える また, 双対問題はargminではなくargmaxとなる https://www.slideshare.net/joisino/ss-249394573?from_action=save tips 最適輸送はKLよりも良いことずくし 最適輸送は距離構造を利用できる 分布の ...


scrapboxのcli-viewer作った
· ☕ 1 min read
Golangでなにか作ろうということで作ってみた https://github.com/YuigaWada/scrapbox-cli install → go install github.com/YuigaWada/scrapbox-cli/[email protected] viewerとしての最低限の機能は作った レンダリング機能 bold → 太文字 hashtag → 背景青 link-color → 青文字 リンク機能 下の選択スペースから何hopでもリンク辿れる goroutineで読み込むためI/Oをブロックしない 検索機能 タイトルで検索可 ...


競プロ
· ☕ 7 min read
貪欲 deque スタック キュー グラフ化 (Graph) BFS DFS Bit全探索 DP 累積和 二次元累積和 尺取法 二分探索 Union-Find ソート ダイクストラ ベルマンフォード ワーシャルフロイド 最小全域木 PQ セグ木 最大流 スター型グラフ 二次元座標を二部グラフにする(ABC 131 F) dpはとりあえず立式したほうがいい Dpは解けなそうで何でも解けるので、亜種dpを徹底的に試すと良い ダブリング ...


【論文メモ】TokenGT: Pure Transformers are Powerful Graph Learners
· ☕ 2 min read
グラフをそのままTransformerにブチこむ手法 GNNより帰納バイアスが少ないが, GNNよりも良い精度を達成 入力について まず, ノードとエッジをそれぞれ独立なものとして捉え, それぞれを同等にトークン $X$とする そのトークンに, ノードなのかエッジなのかを判別するType Identifiersをconcatして入力 トーク ...


Monkey saddle
· ☕ 1 min read
$z=x^3-3xy^2$をMonkey saddleと呼ぶらしい https://en.wikipedia.org/wiki/Monkey_saddle Monkey saddleは退化臨界点である (cf. Morse関数) ...


Morse関数
· ☕ 1 min read
M を n 次元可微分多様体とする. M 上の $C^∞$ 関数 $f : M → R$の臨界点 $p$が非退化であるとは, $f$ の $p$における Hessian $H_p(f)$ が正則行列となることである.すべての臨界点が非退化であるような関数を Morse 関数とよぶ. https://www.ms.u-tokyo.ac.jp/~kohno/lectures/g1-7.pdf ...

【論文メモ】Why do tree-based models still outperform deep learning on tabular data?
· ☕ 1 min read
なぜテーブルデータではGBDTなどの決定木ベース手法がNNよりも強いのかについての論文 1つ目: NNは高周波数成分の学習に弱い なので, 飛び値的なデータに弱い 一方決定木ベース手法は領域を長方形に区切ってるだけなので飛び値的なデータに強い 詳しくは拙作→決定木をフルスクラッチで書けるようになろう (CART) NeRFやPerceiver: ...


【論文メモ】Deformable Attention Transformer
· ☕ 1 min read
詳しくは輪講スライド Deformable Conv のDeformと同じ grid上のpositionに対して, offset分positionをずらしてAttention 正式なoffsetはbilinear補完によって求める オブジェクトごとに受容野を歪めることができる ...