scrapboxとクローラ
· ☕ 3 min read
適当なページをcurlするとわかるが, scrapboxでは①「俺らが見てるページ」と②「クローラが見てるページ」が違う ①はServiceWorkerがブラウザ内で動的に生成しているもの ②はかなり簡素で, 本文のみがベタ書きされたものであり, 被リンクや1hop-linkなどは特に記述されない ここが問題で, ②は内部リンクを削 ...
【論文メモ】Neural Networks and the Chomsky Hierarchy
· ☕ 5 min read
Chomsky Hierarchyにおいて, 各モデルがどのクラスに属するかを実験的に示した 各階層はオートマトンの性質と紐付いている RNNやTransformerは無限ステップにおいてチューリング完全であることが理論的に証明されているが, 有限ステップにおいて各モデルがどのクラスに属するかの研究は未だ発展中 例えば, Transformer ...
輪講資料一覧
· ☕ 1 min read
B4時代の輪講資料一覧です.
【論文メモ】Graphormer: Do Transformers Really Perform Bad for Graph Representation?
· ☕ 3 min read
はじめに Transformerをベースとしたグラフ学習手法 (NeurIPS 2021) 構成要素は三つ Centrality Encoding Spatial Encoding Edge Encoding (in the Attention) 特筆すべき点として, この手法はGINやGCN, それからGraphSAGEといったGNN手法を一般化したものとなっているらしい Do Transformers Really Perform Bad for Graph Representation? 論文メモ 構成要素1. Centrality Encoding モチベーション Node Centrality, つまりノードがどれほど別のノードとつながって ...
【論文メモ】SPICE: Semantic Propositional Image Caption Evaluation
· ☕ 1 min read
評価指標SPICEの論文 (ECCV 2016) BLEUなどはn-gramの重なりにsensitiveで, 真の意味でsemanticsを評価しているとは言えない そこで, scene graphを用いた評価指標SPICEを提案 実際, 画像キャプショニングモデルではよく見かける指標となってきた 流れ ① 複数キャプションからscene graphを生成 scene graph ...
Google: 何がなんでも爆速でGoogle検索結果に載せる
· ☕ 2 min read
/nwtgck/管理外のWebサイトをGoogleの検索結果に載せたい はマジだった redirectサーバはサブドメインでもOK redirect先が同じドメインでもOKみたい 概要 とりあえず301を返してリダイレクトさせるようなリンクを作って, そいつらを登録したsitemapをgoogle search consoleに投げれば爆速でイ ...
Vuforia: ARマーカーは非対称な配置が精度を上げる
· ☕ 1 min read
Vuforiaのマーカー検出精度はゴミ 出来るだけARマーカーの検出精度を上げたい Vuforiaは何を見てマーカーを判断しているのか？ コーナー検出っぽいのやって特徴量を抽出してる模様 https://library.vuforia.com/objects/best-practices-designing-and-developing-image-based-targets なるだけ特徴量をまばらに(=対称性を持たせない様式で)配置すると良いようだ 下の図はopencvでもvuforiaでも簡単に使えるARマーカ ...
GitHub: 自分のIDの入った他人のコードを探す
· ☕ 1 min read
username -user:usernameで検索するとドバーッと出てくる 例: yuigawada -user:yuigawada https://github.com/search?o=desc&p=1&q=yuigawada+-user%3Ayuigawada&s=indexed&type=Code ...
Golang: appendの挙動
· ☕ 1 min read
1 2 s := append(str[:j], hoge...) s = append(s, str[j:]...) こういうコードでバグるときがある そもそもappendとはどういうものか？ append(str[:j](https://scrapbox.io/yuwd/%3Aj),hoge...)をすると, appendはまずcap(str)を見る cap(str)にhogeが入りきらないとわかると, より長い配列を作成 ...
日本語キャプションデータセット
· ☕ 1 min read
STAIR MSCOCOにキャプションを付与 全部で820,310件のキャプション http://captions.stair.center/ Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi, “STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset”, Annual Meeting of the Association for Computational Linguistics (ACL), Short Paper, 2017. YJ Captions 26k Dataset こちらもMSCOCOにキャプションを付与したもので, ACL2016 キャプション数がSTAIRの1/6程度 https://github.com/yahoojapan/YJCaptions Takashi Miyazaki and Nobuyuki Shimizu. 2016. Cross-Lingual Image Caption Generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1780 ...
About Me (Yuiga Wada, YuWd, 和田唯我)
· ☕ 2 min read
Yuiga Wada (和田唯我) @YuigaWada (alias: YuWd) 慶應義塾大学 理工学部 情報工学科 M1 Computer Science | Philosophy | Literature Blog / Twitter / GitHub ブログを読んでほしい(切実) Skill Swift / Objective-C Python / PyTorch Rust Golang C++ / C C# OCaml Typescript: Vue, Nuxt, … etc Java Javascript psql Major Machine Learning Computer Science Fav & Hobby Philosophy Heidegger Husserl Literature Haruki Murakami Osamu Dazai Kobo Abe Anime Attack on Titan JOJO Programing 競プロ (AtCoder, Highest: 1545) iOS Web Frontend & Backend System Programming … ? Machine Learning (PyTorch) Survey paper 機械学習 Work iCimulator: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. (Swift) PolioPager: A flexible TabBarController library with search tab like SNKRS (Swift) CallSlicer : A tweak that enables your Apple Watch to ...
【論文メモ】OTTER: Data Efficient Language-Supervised Zero-Shot Recognition with Optimal Transport Distillation
· ☕ 1 min read
モチベーション CLIPは単位行列を教師として学習する → バッチ内の負例同士にゆるい相関があった場合, 負例を全て0として学習するのは違うよね → 最適輸送問題を解いたものを教師として活用しよう OTTER (Optimal TransporT distillation for Efficient zero-shot Recognition) を提案 Prototypical Contrastive Learning of Unsupervised Representationsと若干同じ感じ loss InfoNCEを拡張して $$\mathcal{L}_v = -\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^N [\alpha I_{ij} + (1-\alpha) M^{v}_{ij}\rbrack \log p_v(\mathbf{z}_i^v, \mathbf{z}_j^t;\tau)$$ とする イ ...
最適輸送問題
· ☕ 1 min read
輸送コスト $C_{i,j}$と輸送量 $P_{i,j}$の積を最小化 これにエントロピー項のついた, 「エントロピー付き最適輸送コスト」問題になると, Sinkhorn-Knoppアルゴリズムが使える また, 双対問題はargminではなくargmaxとなる https://www.slideshare.net/joisino/ss-249394573?from_action=save tips 最適輸送はKLよりも良いことずくし 最適輸送は距離構造を利用できる 分布の ...
