https://yuiga.dev/blog/ja/ Recent content on 行李の底に収めたり[YuWd] Hugo -- gohugo.io ja ©2026, All Rights Reserved Thu, 01 Jan 2026 10:55:01 +0900 https://yuiga.dev/blog/ja/posts/youtube%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E3%82%B7%E3%83%A7%E3%83%BC%E3%83%88%E5%8B%95%E7%94%BB%E3%82%92%E9%9D%9E%E8%A1%A8%E7%A4%BA%E3%81%AB%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95iphone/ Thu, 01 Jan 2026 10:55:01 +0900 Thu, 01 Jan 2026 10:55:01 +0900 https://yuiga.dev/blog/ja/posts/youtube%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E3%82%B7%E3%83%A7%E3%83%BC%E3%83%88%E5%8B%95%E7%94%BB%E3%82%92%E9%9D%9E%E8%A1%A8%E7%A4%BA%E3%81%AB%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95iphone/ こういう感じに消える＆見れないようにできる！ やり方 TL;DR CloudFlare ZeroTrustの一部を使い，常にプロキシでURLをチェックするようにしておけばよい https://www.ideasquantified.com/removing-youtube-shorts/#dnsvsurl 動画本体について ショート動画用のAPIにはクエリパラメタとして?ctier=SHがついているので，こいつらをブロック .*ctier=(O|A).*, /initplayback, youtube.com/youtubei/v1/reelも YuWd (Yuiga Wada) featured image Computer post https://yuiga.dev/blog/ja/posts/gdrive%E3%81%AE%E5%85%B1%E6%9C%89%E3%82%A2%E3%82%A4%E3%83%86%E3%83%A0%E3%82%92%E3%82%BF%E3%83%BC%E3%83%9F%E3%83%8A%E3%83%AB%E3%81%8B%E3%82%89%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89/ Thu, 01 Jan 2026 10:54:46 +0900 Thu, 01 Jan 2026 10:54:46 +0900 https://yuiga.dev/blog/ja/posts/gdrive%E3%81%AE%E5%85%B1%E6%9C%89%E3%82%A2%E3%82%A4%E3%83%86%E3%83%A0%E3%82%92%E3%82%BF%E3%83%BC%E3%83%9F%E3%83%8A%E3%83%AB%E3%81%8B%E3%82%89%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89/ gdownの時代はもう終わり https://yuiga.dev/blog/ja/posts/巨大データgdownのaccess_denied問題は諦めよう/ これからはrcloneの時代や！！ https://rclone.org/ Rclone is a command-line program to manage files on cloud storage. It is a feature-rich alternative to cloud vendors’ web storage interfaces やりかた 共有アイテムに対して，自分のドライブにショートカットを置く rclone ls gdrive: YuWd (Yuiga Wada) featured image Computer post https://yuiga.dev/blog/ja/posts/2025%E5%B9%B4%E8%AA%AD%E3%82%93%E3%81%A0%E6%9C%AC%E8%A6%8B%E3%81%9F%E6%98%A0%E7%94%BB%E3%83%89%E3%83%A9%E3%83%9E%E7%B5%B5%E7%94%BB%E8%B6%A3%E5%91%B3/ Wed, 31 Dec 2025 10:54:40 +0900 Wed, 31 Dec 2025 10:54:40 +0900 https://yuiga.dev/blog/ja/posts/2025%E5%B9%B4%E8%AA%AD%E3%82%93%E3%81%A0%E6%9C%AC%E8%A6%8B%E3%81%9F%E6%98%A0%E7%94%BB%E3%83%89%E3%83%A9%E3%83%9E%E7%B5%B5%E7%94%BB%E8%B6%A3%E5%91%B3/ 福田恆存「人間・この劇的なるもの」 三國万里子「編めば編むほどわたしはわたしになっていった」 三島由紀夫「不道徳教育講座」 安部公房「死に急ぐ鯨たち・もぐら日記」 三島由紀夫「行動学入門」 pha「どこでもいいからどこかへ行きたい」 三島由紀夫「小説家の休暇」 モリー・マルーフ「脳と身体を最適化せよ！」 ジョージ・オーウェル「本vs煙 YuWd (Yuiga Wada) 読書録 post https://yuiga.dev/blog/ja/posts/clean_mackbook/ Thu, 06 Mar 2025 23:40:02 +0900 Thu, 06 Mar 2025 23:40:02 +0900 https://yuiga.dev/blog/ja/posts/clean_mackbook/ 状況 2ヶ月前，清涼飲料水をキーボードにこぼしてしまった 当時，キーボードを外して中を拭いたにもかかわららず，日によって調子が悪い → 気温・湿度にキーボードの調子が左右されるようになってしまった ある日はなんともないのに，別の日には，キーを押すと鈍い打鍵感 糖でキーボードの中にりんご飴が生成されてるような感じ ということでキーボー YuWd (Yuiga Wada) featured image post https://yuiga.dev/blog/ja/posts/wtf_logic/ Tue, 04 Mar 2025 17:07:28 +0900 Tue, 04 Mar 2025 17:07:28 +0900 https://yuiga.dev/blog/ja/posts/wtf_logic/ 概要: 他人の否定や批判の大半は、我々の知ったことではないのである いま、2つのロジックAと￢Aがあるとする。（￢AはAと正反対のロジック）。 このとき、公理系さえ変えれば、どちらの結論A/￢Aも客観的に正しい状態が存在しうる。 つまり、それぞれの公理系の中で正しい主張となりうる公理系が存在しうるのである。 この前提に立った際、 YuWd (Yuiga Wada) featured image post https://yuiga.dev/blog/ja/posts/recollections-of-my-masters-experience/ Sun, 29 Sep 2024 02:58:28 +0900 Sun, 29 Sep 2024 02:58:28 +0900 https://yuiga.dev/blog/ja/posts/recollections-of-my-masters-experience/ 修士課程での主要な活動 修士課程での主要な活動 (2023/04/01 〜 2024/09/05) 早期卒業（飛び級） 1.5年で修士を卒業し，9月から博士課程へ 論文 主著 CVPR 2024, CoNLL23 採択 (上位3.6%のCVPR Highlightへ選ばれる) 共著 CVPR WS 2023, IEEE/RSJ IROS 2023, ACCV 2024 採択 国内論文 8本 グラント関連 2025年度 JSPS 日本学術振興会特別研究員（DC1）採用 2024年度 JST BOOST 採用 未踏 2024 採択 (落合陽 YuWd (Yuiga Wada) poem post https://yuiga.dev/blog/ja/posts/mamba%E3%82%92poetry%E3%81%A7%E7%AE%A1%E7%90%86%E3%81%99%E3%82%8B/ Sun, 24 Mar 2024 06:28:57 +0900 Sun, 24 Mar 2024 06:28:57 +0900 https://yuiga.dev/blog/ja/posts/mamba%E3%82%92poetry%E3%81%A7%E7%AE%A1%E7%90%86%E3%81%99%E3%82%8B/ リンク集 Mamba: Linear-Time Sequence Modeling with Selective State Spaces https://github.com/state-spaces/mamba https://github.com/Dao-AILab/causal-conv1d 備忘録 mamba-ssmやcausal-conv1dがPEP517に準拠していないのでpoetry add <package-name>だとインスコできない poetry add <path>でもsetup.py読んでくれないからムリ → 無理やりローカルでwheelを作ってpoetry addすれば YuWd (Yuiga Wada) python poetry post https://yuiga.dev/blog/ja/posts/cvpr24_yuwd/ Tue, 27 Feb 2024 06:28:57 +0900 Tue, 27 Feb 2024 06:28:57 +0900 https://yuiga.dev/blog/ja/posts/cvpr24_yuwd/ 🌐 project page 📄 arXiv 🤗 Dataset 主著一本がCVPR 2024に採択されました 🔥🔥🔥 朝から最高の気分です！！！#CVPR2024 pic.twitter.com/2O5cBWzQGx — YuWd (@YuigaWada) February 27, 2024 YuWd (Yuiga Wada) featured image python poetry post https://yuiga.dev/blog/ja/posts/nerf%E5%8B%95%E7%94%BB%E3%81%8B%E3%82%89%E7%82%B9%E7%BE%A4%E3%83%A1%E3%83%83%E3%82%B7%E3%83%A5%E4%BB%BB%E6%84%8F%E8%A6%96%E7%82%B9%E5%8B%95%E7%94%BB%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/ Thu, 18 Jan 2024 02:35:54 +0900 Thu, 18 Jan 2024 02:35:54 +0900 https://yuiga.dev/blog/ja/posts/nerf%E5%8B%95%E7%94%BB%E3%81%8B%E3%82%89%E7%82%B9%E7%BE%A4%E3%83%A1%E3%83%83%E3%82%B7%E3%83%A5%E4%BB%BB%E6%84%8F%E8%A6%96%E7%82%B9%E5%8B%95%E7%94%BB%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/ NeRFを使えば，点群・メッシュ・任意視点動画が作れるのでやってみた 今回は愛飲するRedBullを被写体にしてみるヨ！ 任意視点動画 (GIF版) 任意視点動画 (動画版) Your browser does not support the video tag. 点群 NeRFとnerfstudioについて簡潔に説明 ボリュームレンダリング ある点 $x$と方向 $d$を入力として $(c,\sigma)$を出力 YuWd (Yuiga Wada) featured image 論文 機械学習 PyTorch CV https://yuiga.dev/blog/ja/posts/emnlp_2023_%E5%8F%82%E5%8A%A0%E9%8C%B2/ Mon, 11 Dec 2023 03:04:16 +0900 Mon, 11 Dec 2023 03:04:16 +0900 https://yuiga.dev/blog/ja/posts/emnlp_2023_%E5%8F%82%E5%8A%A0%E9%8C%B2/ EMNLP2023に行ってきた ポスター発表の画 面白かった発表 (マイベスト) Accelerating Toeplitz Neural Network with Constant-time Inference Complexity 会場で唯一見つけたSSM論文 (e.g., Hungry Hungry Hippos: Towards Language Modeling with State Space Models) Toeplitz Neural NetworksをSSMに変換し，閉形式で記述→DFTで効率的に解くというめちゃくちゃ胸躍る研究． 著者から直接聞いた話によると，最近Albert Guが出したMambaよりかなり YuWd (Yuiga Wada) featured image 機械学習 論文 https://yuiga.dev/blog/ja/posts/bfloat%E3%81%A8%E3%81%AF%E4%BD%95%E3%81%8B/ Mon, 11 Dec 2023 03:03:16 +0900 Mon, 11 Dec 2023 03:03:16 +0900 https://yuiga.dev/blog/ja/posts/bfloat%E3%81%A8%E3%81%AF%E4%BD%95%E3%81%8B/ double vs fp32 vs fp16 vs bfp16 double (64bit) 1/11/52 = 64 fp32 -> float (32bit) 1 / 8 / 23 = 32 fp16 -> float (16bit) 1 / 5 / 10 = 16 IEEEで規格化 bfloat16 1 / 8 / 7 = 16 指数部をfp32に合わせている 仮数部は実質的な有効数字 (粒度) を決めて，指数部は値のrangeを決めるので，仮数部を減らして指数部を増やすことで，取りうる値のrangeを最大化してあげる (仮数部) x 2^(指数部) 2^() YuWd (Yuiga Wada) featured image 競プロ Computer 機械学習 post https://yuiga.dev/blog/ja/posts/poetrypoetry_update%E3%81%8C%E7%B5%82%E3%82%8F%E3%82%89%E3%81%AA%E3%81%84%E6%B0%97%E3%81%8C%E3%81%99%E3%82%8B%E3%81%A8%E3%81%8D/ Mon, 11 Dec 2023 03:02:35 +0900 Mon, 11 Dec 2023 03:02:35 +0900 https://yuiga.dev/blog/ja/posts/poetrypoetry_update%E3%81%8C%E7%B5%82%E3%82%8F%E3%82%89%E3%81%AA%E3%81%84%E6%B0%97%E3%81%8C%E3%81%99%E3%82%8B%E3%81%A8%E3%81%8D/ pyproject.tomlで変な制約を付けていると，poetry updateで依存関係の解決が終わらないことがある． とりあえず poetry update -vvvでverbose mode (mode 3)で出力しましょう． 大抵は無限にバージョンを遡って行っているパターンが多い． 目で追っていくと，やたらとバージョンを探索しているライブラリだったり，頻出するライ YuWd (Yuiga Wada) python post https://yuiga.dev/blog/ja/posts/cpu__alu_+_register_+_l1..3_cache_+_etc/ Mon, 11 Dec 2023 03:01:54 +0900 Mon, 11 Dec 2023 03:01:54 +0900 https://yuiga.dev/blog/ja/posts/cpu__alu_+_register_+_l1..3_cache_+_etc/ CPUの主な構成要素は以下の通り： ALU（Arithmetic Logic Unit，算術論理演算装置）： ALUは，レジスタから読み出されたオペランド（操作対象のデータ）とオプコード（操作を指示するコード）を用いて，算術計算や論理演算を行う． レジスタ： レジスタは，高速な小容量の記憶装置で，CPU内で直接アクセスされるデータや指令を YuWd (Yuiga Wada) computer post https://yuiga.dev/blog/ja/posts/computer_science%E7%9F%A5%E3%81%A3%E3%81%A6%E3%81%8A%E3%81%8F%E3%81%B9%E3%81%8D%E6%95%B0%E5%AD%97%E4%B8%80%E8%A6%A7/ Mon, 11 Dec 2023 02:54:44 +0900 Mon, 11 Dec 2023 02:54:44 +0900 https://yuiga.dev/blog/ja/posts/computer_science%E7%9F%A5%E3%81%A3%E3%81%A6%E3%81%8A%E3%81%8F%E3%81%B9%E3%81%8D%E6%95%B0%E5%AD%97%E4%B8%80%E8%A6%A7/ 分岐予測の失敗 → 5ns L1 / L2キャッシュ→ 0.5ns / 7ns L1 cache reference 0.5 ns Branch mispredict 5 ns L2 cache reference 7 ns Mutex lock/unlock 100 ns Main memory reference 100 ns Compress 1K bytes with Zippy 10,000 ns 0.01 ms Send 1K bytes over 1 Gbps network 10,000 ns 0.01 ms Read 1 MB sequentially from memory 250,000 ns 0.25 ms Round trip within same datacenter 500,000 ns 0.5 ms Disk seek 10,000,000 ns 10 ms Read 1 MB sequentially from network 10,000,000 ns 10 ms Read 1 MB sequentially from disk 30,000,000 ns 30 ms Send packet CA->Netherlands->CA 150,000,000 ns 150 ms Where 1 ns = 10-9 seconds 1 ms = 10-3 seconds 引用: “Numbers Everyone Should Know” from Jeff Dean. doubleのbit数 MSB・指数・仮数で1 YuWd (Yuiga Wada) featured image computer post https://yuiga.dev/blog/ja/posts/k8sddp%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E4%B8%8A%E3%81%A7%E3%81%AEtorch.load%E3%81%8C%E9%81%85%E3%81%84/ Sun, 17 Sep 2023 09:58:05 +0900 Sun, 17 Sep 2023 09:58:05 +0900 https://yuiga.dev/blog/ja/posts/k8sddp%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E4%B8%8A%E3%81%A7%E3%81%AEtorch.load%E3%81%8C%E9%81%85%E3%81%84/ 概要 巨大なembeddingをチャンクで外部に保存し，DDP(Distributed Data Parallel)を使った学習時に各GPUで読み込みたい そんなときtorch.load(path, map_location=f"cuda:{rank}")にかかる時間の分散が大きい場合がある 前提: torch.loa YuWd (Yuiga Wada) k8s PyTorch post https://yuiga.dev/blog/ja/posts/abci%E3%81%A7%E4%BB%BB%E6%84%8F%E3%81%AEdocker%E3%82%A4%E3%83%A1%E3%83%BC%E3%82%B8%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ Tue, 30 May 2023 02:43:41 +0900 Tue, 30 May 2023 02:43:41 +0900 https://yuiga.dev/blog/ja/posts/abci%E3%81%A7%E4%BB%BB%E6%84%8F%E3%81%AEdocker%E3%82%A4%E3%83%A1%E3%83%BC%E3%82%B8%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ 前提: ABCIとは AI橋渡しクラウド（AI Bridging Cloud Infrastructure、以下「ABCI」という）は、国立研究開発法人 産業技術総合研究所が構築・運用する、AI技術開発・橋渡しのためのオープンな計算インフラストラクチャです。ABCIは、2018年8月に本格運用を開始し、2021年5月にABCI 2.0にアップグレードされ YuWd (Yuiga Wada) featured image Docker post https://yuiga.dev/blog/ja/posts/hungry_hungry_hippos_towards_language_modeling_with_state_space_models/ Tue, 07 Mar 2023 18:44:30 +0900 Tue, 07 Mar 2023 18:44:30 +0900 https://yuiga.dev/blog/ja/posts/hungry_hungry_hippos_towards_language_modeling_with_state_space_models/ この度，SONY様のnnablaチャンネルにH3の解説動画を寄稿しました． 本記事ではなく動画の視聴の方を推奨します． 概要 ICLR23 状態空間モデル(state-space model; SSM)は様々なモダリティにおいて有用性が検証されてきたが，未だ言語系においては確認できていない． また，SSMは $\mathcal{O}(L)$であるにも拘ら YuWd (Yuiga Wada) featured image 論文 状態空間モデル https://yuiga.dev/blog/ja/posts/about_notification_misscat/ Sat, 18 Feb 2023 05:08:27 +0900 Sat, 18 Feb 2023 05:08:27 +0900 https://yuiga.dev/blog/ja/posts/about_notification_misscat/ こんにちは．論文執筆真っ最中のYuWdです． 最近，研究および論文執筆のタスクが落ち着いてきたのでMissCatの改修をボチボチ行っています． (MissCatとはiOS向けのMisskeyクライアント) 改修に着手するにあたって，まずは通知システムを直すところに目星をつけたのですが，昔の自堕落(ドキュメントを書かない性分) YuWd (Yuiga Wada) iOS Web post https://yuiga.dev/blog/ja/posts/redux%E3%81%A8swiftui%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ Wed, 15 Feb 2023 05:08:27 +0900 Wed, 15 Feb 2023 05:08:27 +0900 https://yuiga.dev/blog/ja/posts/redux%E3%81%A8swiftui%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ Redux 状態は複数のView, Controllerが相互に依存するので管理が難しい そこで，相互にイベントを発火させるのをやめて，単一方向にのみ状態が流れるように ユーザ操作で変数が変更→変更を検知したらレンダリング → flux さらに，変数変更とレンダリングの間に更新ロジックを挟むのがRedux Reduxはグローバルな状態を管理するのが YuWd (Yuiga Wada) 設計 iOS post https://yuiga.dev/blog/ja/posts/lora_low-rank_adaptation_of_large_language_models/ Sun, 12 Feb 2023 21:20:55 +0900 Sun, 12 Feb 2023 21:20:55 +0900 https://yuiga.dev/blog/ja/posts/lora_low-rank_adaptation_of_large_language_models/ ICLR22 大規模モデルを高速かつ低消費メモリでfine-tuningする新たな手法 HypernetworksのようにTransformerの各層に学習可能なパラメタを挿入する (Adaptation層) しかし，重みを固定するにしてもAdaptation層を学習させるためにはGPUに載せないと意味ないので，結局時間が掛かってしまう YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/langchainagent%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%A6_%E4%BB%BB%E6%84%8F%E3%81%AEllm%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ Mon, 06 Feb 2023 16:54:04 +0900 Mon, 06 Feb 2023 16:54:04 +0900 https://yuiga.dev/blog/ja/posts/langchainagent%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%A6_%E4%BB%BB%E6%84%8F%E3%81%AEllm%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている． だが，APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて，APIのオリジンをすり替えると任意のL YuWd (Yuiga Wada) 機械学習 LLM post https://yuiga.dev/blog/ja/posts/ap22/ Sun, 25 Dec 2022 00:16:11 +0900 Sun, 25 Dec 2022 00:16:11 +0900 https://yuiga.dev/blog/ja/posts/ap22/ はじめに この記事は慶應理工アドベントカレンダー2022の25日目の記事です. ← 24日目 (アドカレが全て埋まってくれて非常に嬉しい！！！) 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、なぜか10日程度の YuWd (Yuiga Wada) poem post https://yuiga.dev/blog/ja/posts/on_the_versatile_uses_of_partial_distance_correlation_in_deep_learning/ Fri, 16 Dec 2022 19:07:36 +0900 Fri, 16 Dec 2022 19:07:36 +0900 https://yuiga.dev/blog/ja/posts/on_the_versatile_uses_of_partial_distance_correlation_in_deep_learning/ はじめに ECCV22のbest paper https://twitter.com/eccvconf/status/1585560616688881664 #ECCV2022 Paper Awards pic.twitter.com/u9awGVCgSr — European Conference on Computer Vision (ECCV) (@eccvconf) October 27, 2022 概要 二つのモデルの挙動を比較することは極めて重要 しかし, それぞれが異なるアーキテクチャにおけるモデルの比較方法は依然として研究が不十分. そこで, この論文では(Partial) Distance Correlationを機械学習に応用する手法を提案. (Partial) Distance Correlation YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/distance_correlation%E3%81%A8partial_distance_correlation_%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ Sun, 11 Dec 2022 20:25:51 +0900 Sun, 11 Dec 2022 20:25:51 +0900 https://yuiga.dev/blog/ja/posts/distance_correlation%E3%81%A8partial_distance_correlation_%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ 概要 pearsonの相関係数は線形な関係しか捉えることが出来ない. そこで, 点同士の距離を用いたDistance Correlationという相関係数が提案された. さらに, Distance Correlationを拡張し, 内積の期待値が共分散の二乗となるようなヒルベルト空間を定義したPartial Distance Correlationが提案されている. YuWd (Yuiga Wada) featured image 数学 機械学習 post https://yuiga.dev/blog/ja/posts/co_look_back/ Wed, 07 Dec 2022 00:16:11 +0900 Wed, 07 Dec 2022 00:16:11 +0900 https://yuiga.dev/blog/ja/posts/co_look_back/ この記事は慶應理工アドベントカレンダー2022の7日目の記事です. ← 6日目 | 8日目 → この記事の読み方/想定読者について ご自由にお読みください。記事自体結構長いので、ご自身の興味のあるところだけ読んでもらっても構いません。目次から気になるところを見てもらえると嬉しいです。(もちろん通しで読んでもらうのが一番嬉しい。) 想定 YuWd (Yuiga Wada) poem post https://yuiga.dev/blog/ja/posts/advent22/ Thu, 01 Dec 2022 10:16:11 +0900 Thu, 01 Dec 2022 10:16:11 +0900 https://yuiga.dev/blog/ja/posts/advent22/ はじめに この記事は慶應理工アドベントカレンダー2022の1日目の記事です. 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、慶應理工アドベントカレンダー2022というものを開催しました！！！ 本アドカレは去 YuWd (Yuiga Wada) poem post https://yuiga.dev/blog/ja/posts/matterport3d_semantic_segmentation/ Thu, 24 Nov 2022 20:09:23 +0900 Thu, 24 Nov 2022 20:09:23 +0900 https://yuiga.dev/blog/ja/posts/matterport3d_semantic_segmentation/ Intro The other day, one of my labmates needed to make a segmentation of Matterport3D. He asked for help, and I got involved in creating the segmentation. However, it turned out to be a real struggle. We were not used to 3D mesh models. After several weeks, we completed the code to create a semantic segmentation image for Matterport3D. How to create Matterport3D segmentation images Matterport3D provides access to 3D segmentation but does not give users an easy way to access 2D. Matterport3D data only provides point clouds and meshes labeled by ground truth, and the user must add color directly to the point clouds and meshes to create 2D segmentations. We, therefore, wrote code using Matterport3DSimulator to place a camera for a given scan_id and viewpoint_id and create a segmentation from the original ply file. When we run our code, we get the following image. (I concatenated the obtained images and converted to a gif) Matterport3DSimulator takes a total of 36 pictures: 12 at the top, 12 at the perimeter, and 12 at the bottom. YuWd (Yuiga Wada) featured image Matterport3D python CV Vision-and-Language post https://yuiga.dev/blog/ja/posts/few-shot_relational_reasoning_via_connection_subgraph_pretraining/ Wed, 16 Nov 2022 20:09:23 +0900 Wed, 16 Nov 2022 20:09:23 +0900 https://yuiga.dev/blog/ja/posts/few-shot_relational_reasoning_via_connection_subgraph_pretraining/ はじめに NeurIPS22 Few-shotにおける knowledge graph completion task を行う 上図のように, Background KG (knowledge graph)とsupport setが与えられた状態で, Query setのrelationを推論するタスク Connection Subgraph Reasoner (CSR)を提案 Few-shot KG Completion KGは $\mathcal{G} = (\mathcal{E}, \mathcal{R}, \mathcal{T}) $で表される ここで, $\mathcal{E}, \mathcal{R}$はそれぞれentityとrelationで, $\mathcal{T YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/m1mac_knp_juman/ Sat, 12 Nov 2022 10:16:11 +0900 Sat, 12 Nov 2022 10:16:11 +0900 https://yuiga.dev/blog/ja/posts/m1mac_knp_juman/ はじめに どうしても手元のM1 MacでKNP・Juman++を動かしたいとき, ごく稀にありますよね. そういうときにパッとDockerfileでも書いて, knpやjumanをDocker上で動かそうとすると, なぜか以下のようなエラーが吐かれることがあります. 1 cc: error: unrecognized command-line option '-m64' とか 1 cannot guess build type; you must specify one ということで, M1 Macでも動く YuWd (Yuiga Wada) Docker post https://yuiga.dev/blog/ja/posts/abc217_e_segment/ Tue, 08 Nov 2022 10:16:11 +0900 Tue, 08 Nov 2022 10:16:11 +0900 https://yuiga.dev/blog/ja/posts/abc217_e_segment/ はじめに 競プロを1年以上サボっているYuWdです. 長らく競プロから遠ざかっていたのですが, 今日から気楽に競プロを再開しようと思います. 手始めに今日は, サボり期間で受けていなかったコンテストを解いてみました. (ABC217) しかし, 解いてみた所感として, 思考力とやらはそこまで廃れきってはいないようなのですが, どうやら競プロの&quot YuWd (Yuiga Wada) 競プロ post https://yuiga.dev/blog/ja/posts/deep_learning_without_shortcuts_shaping_the_kernel_with_tailored_rectifiers/ Wed, 02 Nov 2022 10:16:11 +0900 Wed, 02 Nov 2022 10:16:11 +0900 https://yuiga.dev/blog/ja/posts/deep_learning_without_shortcuts_shaping_the_kernel_with_tailored_rectifiers/ はじめに ICLR22 [paper] 深層学習において, 残差接続は不可欠な存在となりつつある 残差接続により, より深い層数のNNを実現できるようになった 残差接続に対する解釈の矛盾 昨今の研究により残差接続は比較的浅い層をアンサンブルするような効果があるとの見方が強まっている しかし, 「深層」学習という名が体を表す通り, 一般には「層を増やす」ことがモデ YuWd (Yuiga Wada) featured image 論文 機械学習 数学 https://yuiga.dev/blog/ja/posts/tmux_+_zshctrl-d%E3%81%A7%E3%82%BB%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%92detach%E3%81%99%E3%82%8B/ Mon, 24 Oct 2022 00:10:14 +0900 Mon, 24 Oct 2022 00:10:14 +0900 https://yuiga.dev/blog/ja/posts/tmux_+_zshctrl-d%E3%81%A7%E3%82%BB%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%92detach%E3%81%99%E3%82%8B/ はじめに tmuxとは俗に言う端末多重化ソフト(Terminal Multiplexer) のこと. terminalを複数のセッション, ウィンドウ, ペインに分割して使用することができる代物である. ターミナルを終了してもセッションは維持されるので, sshで学習を回す際に便利である. tmuxでは通常のC-dでセッションがexitされてしまうのだが, こ YuWd (Yuiga Wada) shell misc post https://yuiga.dev/blog/ja/posts/pytorchcuda_error_device-side_assert_triggered_%E8%A7%A3%E6%B1%BA%E3%81%AE%E6%89%8B%E5%BC%95%E3%81%8D/ Sun, 23 Oct 2022 04:49:42 +0900 Sun, 23 Oct 2022 04:49:42 +0900 https://yuiga.dev/blog/ja/posts/pytorchcuda_error_device-side_assert_triggered_%E8%A7%A3%E6%B1%BA%E3%81%AE%E6%89%8B%E5%BC%95%E3%81%8D/ はじめに PyTorchにて, “RuntimeError: CUDA error: device-side assert triggered"というエラーに出くわすことがある ネットに転がってるモデルで発生すると特に厄介である (自分が作った沼ではないので…) またMAEでのマスク処理のような, テクニカルな処理を行う場合などにも頻発 再現性が取れず, 出力されるエラー内容も二転三転. 一定 YuWd (Yuiga Wada) python PyTorch post https://yuiga.dev/blog/ja/posts/%E5%B7%A8%E5%A4%A7%E3%83%87%E3%83%BC%E3%82%BFgdown%E3%81%AEaccess_denied%E5%95%8F%E9%A1%8C%E3%81%AF%E8%AB%A6%E3%82%81%E3%82%88%E3%81%86/ Sat, 22 Oct 2022 06:36:36 +0900 Sat, 22 Oct 2022 06:36:36 +0900 https://yuiga.dev/blog/ja/posts/%E5%B7%A8%E5%A4%A7%E3%83%87%E3%83%BC%E3%82%BFgdown%E3%81%AEaccess_denied%E5%95%8F%E9%A1%8C%E3%81%AF%E8%AB%A6%E3%82%81%E3%82%88%E3%81%86/ TL;DR クソデカファイルをGoogle Driveからダウンロードするときは, gdownではなくcurl直打ちでダウンロードしよう はじめに Google Drive内の50GBほどあるデータをgdownでダウンロードしようとすると以下のエラーが出た Access denied with the following error: Too many users have viewed or downloaded this file recently. Please try accessing the file again later. If the file you are trying to access is particularly large or is shared with many people, it may take up to 24 hours YuWd (Yuiga Wada) Network post https://yuiga.dev/blog/ja/posts/lifting_the_curse_of_multilinguality_by_pre-training_modular_transformers/ Wed, 19 Oct 2022 19:16:15 +0900 Wed, 19 Oct 2022 19:16:15 +0900 https://yuiga.dev/blog/ja/posts/lifting_the_curse_of_multilinguality_by_pre-training_modular_transformers/ NACCL22 多言語を扱うモデルにおいて, 言語の数を増やせば増やすほど精度が下がる「the curse of multilinguality」(多言語の呪い)という現象が存在する この「多言語の呪い」を対処するモデルとしてX-MODを提案 概略 言語ごとにbottleneck型のモジュールを用意し, 言語ごとにスイッチさせる それ故, 拡張は容易で, 学習・推 YuWd (Yuiga Wada) featured image 論文 NLP https://yuiga.dev/blog/ja/posts/simcse/ Tue, 18 Oct 2022 19:34:11 +0900 Tue, 18 Oct 2022 19:34:11 +0900 https://yuiga.dev/blog/ja/posts/simcse/ ENMLP21 Supervised SimCSE 含意関係にある文を正例として対照学習 NLIデータセット Unsupervised SimCSE 同じ文を二回埋め込んで対照学習 dropoutの影響で微かに異なる二つのベクトルに対して対照学習 引用: https://www.slideshare.net/DeepLearningJP2016/dlsimcse-simple-contrastive-learning-of-sentence-embeddings-emnlp-2021 YuWd (Yuiga Wada) featured image 論文 自己教師あり学習 NLP https://yuiga.dev/blog/ja/posts/%E6%91%A9%E8%A8%B6%E4%B8%8D%E6%80%9D%E8%AD%B0azcopy%E3%81%AF%E3%81%AA%E3%81%9C%E9%80%9F%E3%81%84/ Mon, 10 Oct 2022 18:15:31 +0900 Mon, 10 Oct 2022 18:15:31 +0900 https://yuiga.dev/blog/ja/posts/%E6%91%A9%E8%A8%B6%E4%B8%8D%E6%80%9D%E8%AD%B0azcopy%E3%81%AF%E3%81%AA%E3%81%9C%E9%80%9F%E3%81%84/ TL;DR azcopyとは, Azure内のblobを操作するためのツールなのだが, これを使えば摩訶不思議. なぜかwgetよりも快適にblobをダウンロードできる. azcopyがなぜこんなにも速いのか誰か教えてくれ 仮説: azcopyはコネクションを大量に張る + サーバを分散させている 導入: wgetが遅い問題 ORTの再現実験のため, YuWd (Yuiga Wada) Network misc post https://yuiga.dev/blog/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E7%89%88image_captioning%E3%81%AE%E5%AD%A6%E7%BF%92%E6%8E%A8%E8%AB%96%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8F%90%E4%BE%9B%E3%81%99%E3%82%8B/ Wed, 05 Oct 2022 01:06:12 +0900 Wed, 05 Oct 2022 01:06:12 +0900 https://yuiga.dev/blog/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E7%89%88image_captioning%E3%81%AE%E5%AD%A6%E7%BF%92%E6%8E%A8%E8%AB%96%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8F%90%E4%BE%9B%E3%81%99%E3%82%8B/ ひょんなことから最近Image Captioning(画像キャプション生成)を触っている だが, ググってもググっても日本語でImage Captioningしてる人があまりに居ない… コードを検索してもヒットしたのはこの子だけ…🤔 (しかもChainer …) https://github.com/yuyay/chainer_nic 日本語での画像キャプション生成界隈はプレイヤ YuWd (Yuiga Wada) featured image 機械学習 python post https://yuiga.dev/blog/ja/posts/can_neural_nets_learn_the_same_model_twice_investigating_reproducibility_and_double_descent_from_the_decision_boundary_perspective/ Sat, 24 Sep 2022 02:31:18 +0900 Sat, 24 Sep 2022 02:31:18 +0900 https://yuiga.dev/blog/ja/posts/can_neural_nets_learn_the_same_model_twice_investigating_reproducibility_and_double_descent_from_the_decision_boundary_perspective/ はじめに CVPR22 決定境界を描画し, 再現性と汎化性について定量的に考察した論文 決定境界の描画 (領域の決定) 如何に決定境界を描画するかが重要になってくる その上でまず, データ多様体 $\mathcal{M}$の近傍(on-manifold)を取るのか, $\mathcal{M}$から離れた領域(off-manifold)を取るのかを考 YuWd (Yuiga Wada) featured image 論文 CV 機械学習 https://yuiga.dev/blog/ja/posts/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0pearsonspearmankendall%E3%81%AE%E4%BD%BF%E3%81%84%E5%88%86%E3%81%91/ Sat, 24 Sep 2022 02:25:01 +0900 Sat, 24 Sep 2022 02:25:01 +0900 https://yuiga.dev/blog/ja/posts/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0pearsonspearmankendall%E3%81%AE%E4%BD%BF%E3%81%84%E5%88%86%E3%81%91/ ピアソン $$ r_{xy} = \frac{{\displaystyle \sum_{i = 1}^n (x_i - \overline{x}) (y_i - \overline{y})}}{\sqrt{{\displaystyle \sum_{i = 1}^n (x_i - \overline{x})^2}} \sqrt{{\displaystyle \sum_{i = 1}^n (y_i - \overline{y})^2}}} = \frac{s_{xy}}{s_xs_y} $$ データ(X,Y)が連続で正規分布に従っていることが前提 なので外れ値に弱い スピアマン $$ \rho_{xy} = \frac{\sum_{i=1}^{n}(R(x_i) - \overline{R(x)})(R(y_i) - \overline{R(y)})} {\sqrt{\sum_{i=1}^{n}(R(x_i) - \overline{R(x)})^{2}\cdot\sum_{i=1}^{n}(R(y_i)-\overline{R(y)})^{2}}} = 1 - \frac{6\sum_{i=1}^{n}(R(x_i) - R(y_i))^{2}}{n(n^{2} - 1)} $$ $R(x)$は $x$の順位 順位をそのままピアソンの式に当てはめるイメージ 正規分布・連続という仮定がない分使い勝手が良い ケンドール $$ \tau_{xy} YuWd (Yuiga Wada) 数学 post https://yuiga.dev/blog/ja/posts/test-time_training_with_self-supervision_for_generalization_under_distribution_shifts/ Mon, 19 Sep 2022 04:57:03 +0900 Mon, 19 Sep 2022 04:57:03 +0900 https://yuiga.dev/blog/ja/posts/test-time_training_with_self-supervision_for_generalization_under_distribution_shifts/ PMLR20 trainとtestで分布が違う場合の再学習手法TTT(Test-Time Training)を提案 まずは普通に学習 次にモデルを前半(A)と後半(B)に分けて, 元のA + 新しいB’ のモデルで自己教師あり学習を行う headを取っ替えるイメージ (B→B') このとき, testサンプルを使用して自己教師あり学習を行う YuWd (Yuiga Wada) 論文 https://yuiga.dev/blog/ja/posts/energy-based_learning_for_scene_graph_generation/ Mon, 19 Sep 2022 00:57:50 +0900 Mon, 19 Sep 2022 00:57:50 +0900 https://yuiga.dev/blog/ja/posts/energy-based_learning_for_scene_graph_generation/ はじめに Energy Based Modelを用いて画像からscene graphを生成する手法(フレームワーク)を提案 既存手法は次のようにクロスエントロピーでscene graphを生成する $$\log p(SG|I) = \sum_{i \in O} \log p(o_i| I) + \sum_{j \in R} \log p(r_j | I).$$ このとき, object $O$とrelation $R$が互いに独立に計算されている ここが問題で, 本来なら互いに弱い依存性があるはず し YuWd (Yuiga Wada) featured image 論文 Graph https://yuiga.dev/blog/ja/posts/teamviewerssh%E3%81%A7%E3%83%91%E3%82%B9%E3%83%AF%E3%83%BC%E3%83%89%E3%82%92%E5%A4%89%E6%9B%B4%E3%81%99%E3%82%8B/ Fri, 16 Sep 2022 14:19:11 +0900 Fri, 16 Sep 2022 14:19:11 +0900 https://yuiga.dev/blog/ja/posts/teamviewerssh%E3%81%A7%E3%83%91%E3%82%B9%E3%83%AF%E3%83%BC%E3%83%89%E3%82%92%E5%A4%89%E6%9B%B4%E3%81%99%E3%82%8B/ TeamViewerでパスワードがわからなくなった どうやらsshで入れるならパスワードを変更できるらしい sudo teamviewer passwd [password] で任意のパスワード[password]に変更可 1 2 3 teamviewer info sudo teamviewer passwd [password] teamviewer info YuWd (Yuiga Wada) Network post https://yuiga.dev/blog/ja/posts/rayremote%E3%81%8C%E3%83%A1%E3%83%A2%E3%83%AA%E3%82%92%E5%A4%A7%E9%87%8F%E3%81%AB%E9%A3%9F%E3%81%86%E6%99%82%E3%81%AFray.put%E3%82%92%E4%BD%BF%E3%81%8A%E3%81%86/ Thu, 15 Sep 2022 23:31:33 +0900 Thu, 15 Sep 2022 23:31:33 +0900 https://yuiga.dev/blog/ja/posts/rayremote%E3%81%8C%E3%83%A1%E3%83%A2%E3%83%AA%E3%82%92%E5%A4%A7%E9%87%8F%E3%81%AB%E9%A3%9F%E3%81%86%E6%99%82%E3%81%AFray.put%E3%82%92%E4%BD%BF%E3%81%8A%E3%81%86/ はじめに rayとは → https://github.com/ray-project/ray 分散並列処理を簡単に書けるフレームワーク ray.remoteは怖い @ray.remoteが付された関数が使用するオブジェクトは, 呼び出される都度内部でray.put()が呼ばれ, データがメモリ上に展開される 若干この仕様が厄介で, ray.get()なんかを使うと, 同じオブジェクトを何度もメモリ上に展 YuWd (Yuiga Wada) python post https://yuiga.dev/blog/ja/posts/pycocoevalcap%E3%81%AEmeteor%E3%81%8C%E3%83%90%E3%82%B0%E3%82%8B_self.meteor_p.stdin.flush/ Thu, 08 Sep 2022 00:05:28 +0900 Thu, 08 Sep 2022 00:05:28 +0900 https://yuiga.dev/blog/ja/posts/pycocoevalcap%E3%81%AEmeteor%E3%81%8C%E3%83%90%E3%82%B0%E3%82%8B_self.meteor_p.stdin.flush/ なぜかpycocoevalcapでMETEORの計算が止まる問題 どうやらself.meteor_p.stdin.flush() あたりで止まっているらしい 結論から言えば, 俺の場合キャプションに\nが入っていたせいだった そもそもCOCO captions のキャプション自体結構汚いので注意 変な改行入ってたり, キャプションがなぜか6つあったり YuWd (Yuiga Wada) featured image python NLP post https://yuiga.dev/blog/ja/posts/stochastic_gradient_langevine_dynamics/ Mon, 05 Sep 2022 01:18:47 +0900 Mon, 05 Sep 2022 01:18:47 +0900 https://yuiga.dev/blog/ja/posts/stochastic_gradient_langevine_dynamics/ はじめに MCMCの一種 目標: ある分布 $\pi(x)$からのサンプリングを行いたい Metropolis-Hastingsアルゴリズム (MH) Hamiltonian Monte Carlo (HMC) Langevin Dynamics (Metropolis-adjusted Langevin Algorithm) Stochastic Gradient Langevin Dynamics (SGLD) の順に見ていくと理解しやすい Metropolis-Hastings Metropolis-Hastingsについては既知のもとする 提案分布 $q(z)$を元に判定関数を用いて受容・棄却を行うMCMC cf. YuWd (Yuiga Wada) 数学 機械学習 MCMC post https://yuiga.dev/blog/ja/posts/%E3%83%8F%E3%83%9F%E3%83%AB%E3%83%88%E3%83%8B%E3%82%A2%E3%83%B3/ Mon, 05 Sep 2022 01:18:09 +0900 Mon, 05 Sep 2022 01:18:09 +0900 https://yuiga.dev/blog/ja/posts/%E3%83%8F%E3%83%9F%E3%83%AB%E3%83%88%E3%83%8B%E3%82%A2%E3%83%B3/ 解析力学において, ハミルトニアンとは「系のエネルギーを座標と運動量で表したもの」 系のエネルギー自体を表すため, 時間変化せず時間 $t$に依存しない $\mathcal{K}$を運動エネルギー、 $\mathcal{U}$をポテンシャルエネルギーとして $$H := H(q,p;t) =\mathcal{K}(p)+\mathcal{U}(q)$$ ハミルトニアンの正準方程式 運動ベクトル $p_r$と座標ベクトル $q_ YuWd (Yuiga Wada) 数学 物理 post https://yuiga.dev/blog/ja/posts/%E5%BF%85%E8%A6%81%E3%81%AA%E3%82%82%E3%81%AE%E3%81%A0%E3%81%91pip_freeze%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/ Sun, 04 Sep 2022 17:06:13 +0900 Sun, 04 Sep 2022 17:06:13 +0900 https://yuiga.dev/blog/ja/posts/%E5%BF%85%E8%A6%81%E3%81%AA%E3%82%82%E3%81%AE%E3%81%A0%E3%81%91pip_freeze%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/ pipreqsという非常に便利なライブラリが存在する pipreqs . だけでimportされているライブラリだけを出力してくれる マジで便利 例 pipreqsを使えばこれが出力される 1 2 3 4 5 6 7 8 9 10 11 12 ❯ pipreqs . && cat requirements.txt colored_traceback==0.3.0 h5py==3.7.0 matplotlib==3.5.3 nltk==3.7 numpy==1.23.2 Pillow==9.2.0 pycocoevalcap==1.2 skimage==0.0 torch==1.8.2+cu111 torchvision==0.9.2+cu111 tqdm==4.64.0 pip freeze だとこれ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 YuWd (Yuiga Wada) python misc post https://yuiga.dev/blog/ja/posts/a%E3%81%AEb%E5%95%8F%E9%A1%8C/ Wed, 31 Aug 2022 05:14:53 +0900 Wed, 31 Aug 2022 05:14:53 +0900 https://yuiga.dev/blog/ja/posts/a%E3%81%AEb%E5%95%8F%E9%A1%8C/ 名詞句「AのB」は意味が多い・曖昧すぎて, 非常に解析しにくい NLP界隈では「AのB」の怖さを徹底的に叩き込まれるらしい 先生曰く, 読み方は ✅ 「エー→のビー」 ❌「エー⤵のビー」 らしい KNPを作った京大黒橋研の論文 国語辞典を用いた名詞句「AのB」の意味解析 名詞に必須格の考え方を持ち込み, 国語辞典から「AのB」の解析=分類を試 YuWd (Yuiga Wada) NLP post https://yuiga.dev/blog/ja/posts/your_classifier_is_secretly_an_energy_based_model_and_you_should_treat_it_like_one/ Sun, 28 Aug 2022 00:57:38 +0900 Sun, 28 Aug 2022 00:57:38 +0900 https://yuiga.dev/blog/ja/posts/your_classifier_is_secretly_an_energy_based_model_and_you_should_treat_it_like_one/ 分類問題について, 生成モデルで用いられるEnergy Based Modelに基づいた学習手法を提案 一般的な学習 あるNNを $f_\theta(x)$とすると, 出力の $y$番目を $f_\theta(x)[y\rbrack$として, softmaxは以下のように表される $$p_{\theta}(y|{\bf x}) = \frac{\exp{\left(f_{\theta}({\bf x})[y\rbrack \right)} } { \sum_{y^{\prime}}\exp{\left(f_{\theta}({\bf x})[y^{\prime}\rbrack \right)} }$$ ここで, Energy Based Modelでは $$p_{\theta}(\boldsymbol{x},y) = \frac{\textrm{exp}(-E_{\theta}(\boldsymbol{x},y))}{Z_{\theta}}$$ と定義される YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/energy_based_model/ Sat, 27 Aug 2022 17:39:54 +0900 Sat, 27 Aug 2022 17:39:54 +0900 https://yuiga.dev/blog/ja/posts/energy_based_model/ Energy Based Model 生成モデルによく用いられる 拡散モデルとも関係が深い 分類回帰問題についてはYour classifier is secretly an energy based model and you should treat it like oneを参照 GANやVAE同様, データ $x$は何らかの高次元確率分布 $p(x)$からサンプリングされたものと仮定する EBMでは以下のように確率分布 $p(x)$を仮定し, $E_{\theta}(\boldsym YuWd (Yuiga Wada) featured image 機械学習 MCMC 数学 post https://yuiga.dev/blog/ja/posts/%E8%BF%B0%E8%AA%9E%E9%A0%85%E6%A7%8B%E9%80%A0/ Fri, 26 Aug 2022 22:04:55 +0900 Fri, 26 Aug 2022 22:04:55 +0900 https://yuiga.dev/blog/ja/posts/%E8%BF%B0%E8%AA%9E%E9%A0%85%E6%A7%8B%E9%80%A0/ 述語項構造とは、何がどうした、という述語とその項からなる構造のことである。 https://pyknp.readthedocs.io/en/latest/usage.html 「述語」に対して, 「項」と「格」が接続されている 引用: https://www.scribd.com/archive/plans?slideshare=true tips 述語項構造はJUMAN++とKNPで取り出せる JUMAN++はRNNベースの形態素解析ツール KNPは構文・格・照応解析システム Pythonからも使える https://pyknp.readthedocs.io/en/latest/ 両者をDockerから使えるように YuWd (Yuiga Wada) featured image NLP post https://yuiga.dev/blog/ja/posts/peter_anderson/ Fri, 26 Aug 2022 19:57:39 +0900 Fri, 26 Aug 2022 19:57:39 +0900 https://yuiga.dev/blog/ja/posts/peter_anderson/ すげえ人 SPICE SPICE: Semantic Propositional Image Caption Evaluation REVERIE REVERIE - Remote Embodied Visual Referring Expression in Real Indoor Environments Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering Sim-to-Real Transfer for Vision-and-Language Navigation など, めちゃくちゃよく見る論文の著者 今はGoogleにいるらしい YuWd (Yuiga Wada) Vision-and-Language 機械学習 人物 post https://yuiga.dev/blog/ja/posts/mukea_multimodal_knowledge_extraction_and_accumulation_for_knowledge-based_visual_question_answering/ Wed, 24 Aug 2022 04:13:02 +0900 Wed, 24 Aug 2022 04:13:02 +0900 https://yuiga.dev/blog/ja/posts/mukea_multimodal_knowledge_extraction_and_accumulation_for_knowledge-based_visual_question_answering/ CVPR22 タスク: KB-VQA 質問画像に含まれていない知識を要する質問に回答するタスク 例えば, 以下のVQAでは, 外部知識=kawasakiを使わないと回答できない 新規性 知識グラフの構築は行わない scene graphを作るのではなく, 画像由来のHead Entity (領域画像)と, 言語由来のTail Entity (後述)について, (entity, relation, entity)のtripletを用い YuWd (Yuiga Wada) featured image 論文 Vision-and-Language https://yuiga.dev/blog/ja/posts/%E3%82%B3%E3%83%94%E3%83%A5%E3%83%A9_copula/ Wed, 24 Aug 2022 02:23:25 +0900 Wed, 24 Aug 2022 02:23:25 +0900 https://yuiga.dev/blog/ja/posts/%E3%82%B3%E3%83%94%E3%83%A5%E3%83%A9_copula/ copula 別名: 「繋辞」 文の主語と述語を結ぶための品詞. つまり, X=Yの形式を作る品詞 例 日本語: 「だ」「です」…etc 英語: be動詞, become … etc 「Y＝Xと交換可能であり、2つの要素が一致すること」を指定（してい）、「Y＝Xとすることができず、YがXの属性を表すこと」を措定（そてい）と呼ぶ。これらを区別して表現する言語 YuWd (Yuiga Wada) NLP post https://yuiga.dev/blog/ja/posts/generating_semantically_precise_scene_graphs_from_textual_descriptions_for_improved_image_retrieval/ Wed, 24 Aug 2022 02:21:50 +0900 Wed, 24 Aug 2022 02:21:50 +0900 https://yuiga.dev/blog/ja/posts/generating_semantically_precise_scene_graphs_from_textual_descriptions_for_improved_image_retrieval/ Stanford Scene Graph Parserの論文 (ACL 2015) 一応, scene graphを自動化してimage retrievalできるようにしようという趣旨 https://nlp.stanford.edu/software/scenegraph-parser.shtml 流れ ①Universal Dependenciesを一部修正したものをsemantic graphとして生成 a lot of 等のquantificational modifiersの修正 代名詞の解釈 複数名詞への対応 → ノー YuWd (Yuiga Wada) 論文 NLP Vision-and-Language Graph https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%A8hugo%E3%82%92%E5%90%8C%E6%9C%9F%E3%81%95%E3%81%9B%E3%82%8B/ Mon, 22 Aug 2022 20:34:06 +0900 Mon, 22 Aug 2022 20:34:06 +0900 https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%A8hugo%E3%82%92%E5%90%8C%E6%9C%9F%E3%81%95%E3%81%9B%E3%82%8B/ Scrapboxと個人ブログ(Hugo)を同期させるようにした. scrapboxとクローラでも言及したが, 空のリンクに検索がヒットするのはよくないと思い, 同期を始めた. scrapbox自体は書き心地やUXが最高で手放したくないため, 一部ページを同期させ, 正しく検索結果が載るか試してみる. コードは以下に示す通り. scra YuWd (Yuiga Wada) misc SEO post https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%A8%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9/ Sat, 20 Aug 2022 19:28:12 +0900 Sat, 20 Aug 2022 19:28:12 +0900 https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%A8%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9/ 適当なページをcurlするとわかるが, scrapboxでは①「俺らが見てるページ」と②「クローラが見てるページ」が違う ①はServiceWorkerがブラウザ内で動的に生成しているもの ②はかなり簡素で, 本文のみがベタ書きされたものであり, 被リンクや1hop-linkなどは特に記述されない ここが問題で, ②は内部リンクを削 YuWd (Yuiga Wada) featured image misc SEO Network post https://yuiga.dev/blog/ja/posts/neural_networks_and_the_chomsky_hierarchy/ Wed, 17 Aug 2022 22:33:24 +0900 Wed, 17 Aug 2022 22:33:24 +0900 https://yuiga.dev/blog/ja/posts/neural_networks_and_the_chomsky_hierarchy/ Chomsky Hierarchyにおいて, 各モデルがどのクラスに属するかを実験的に示した 各階層はオートマトンの性質と紐付いている RNNやTransformerは無限ステップにおいてチューリング完全であることが理論的に証明されているが, 有限ステップにおいて各モデルがどのクラスに属するかの研究は未だ発展中 例えば, Transformer YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/jornal_club/ Tue, 16 Aug 2022 22:48:50 +0900 Tue, 16 Aug 2022 22:48:50 +0900 https://yuiga.dev/blog/ja/posts/jornal_club/ 輪講資料 On the Versatile Uses of Partial Distance Correlation in Deep Learning Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers Energy-Based Learning for Scene Graph Generation Do Transformers Really Perform Bad for Graph Representation? Prototypical Contrastive Learning of Unsupervised Representations Surrogate Gap Minimization Improves Sharpness-Aware Training Vision Transformer with Deformable Attention リンク https://scrapbox.io/yuwd/paper https://speakerdeck.com/keio_smilab YuWd (Yuiga Wada) post https://yuiga.dev/blog/ja/posts/graphormer_do_transformers_really_perform_bad_for_graph_representation/ Tue, 16 Aug 2022 20:46:37 +0900 Tue, 16 Aug 2022 20:46:37 +0900 https://yuiga.dev/blog/ja/posts/graphormer_do_transformers_really_perform_bad_for_graph_representation/ はじめに Transformerをベースとしたグラフ学習手法 (NeurIPS 2021) 構成要素は三つ Centrality Encoding Spatial Encoding Edge Encoding (in the Attention) 特筆すべき点として, この手法はGINやGCN, それからGraphSAGEといったGNN手法を一般化したものとなっているらしい Do Transformers Really Perform Bad for Graph Representation? 論文メモ 構成要素1. Centrality Encoding モチベーション Node Centrality, つまりノードがどれほど別のノードとつながって YuWd (Yuiga Wada) featured image 論文 Graph https://yuiga.dev/blog/ja/posts/spice_semantic_propositional_image_caption_evaluation/ Tue, 16 Aug 2022 20:46:30 +0900 Tue, 16 Aug 2022 20:46:30 +0900 https://yuiga.dev/blog/ja/posts/spice_semantic_propositional_image_caption_evaluation/ 評価指標SPICEの論文 (ECCV 2016) BLEUなどはn-gramの重なりにsensitiveで, 真の意味でsemanticsを評価しているとは言えない そこで, scene graphを用いた評価指標SPICEを提案 実際, 画像キャプショニングモデルではよく見かける指標となってきた 流れ ① 複数キャプションからscene graphを生成 scene graph YuWd (Yuiga Wada) featured image 論文 NLP Vision-and-Language Graph https://yuiga.dev/blog/ja/posts/google_%E4%BD%95%E3%81%8C%E3%81%AA%E3%82%93%E3%81%A7%E3%82%82%E7%88%86%E9%80%9F%E3%81%A7google%E6%A4%9C%E7%B4%A2%E7%B5%90%E6%9E%9C%E3%81%AB%E8%BC%89%E3%81%9B%E3%82%8B/ Tue, 16 Aug 2022 20:46:04 +0900 Tue, 16 Aug 2022 20:46:04 +0900 https://yuiga.dev/blog/ja/posts/google_%E4%BD%95%E3%81%8C%E3%81%AA%E3%82%93%E3%81%A7%E3%82%82%E7%88%86%E9%80%9F%E3%81%A7google%E6%A4%9C%E7%B4%A2%E7%B5%90%E6%9E%9C%E3%81%AB%E8%BC%89%E3%81%9B%E3%82%8B/ /nwtgck/管理外のWebサイトをGoogleの検索結果に載せたい はマジだった redirectサーバはサブドメインでもOK redirect先が同じドメインでもOKみたい 概要 とりあえず301を返してリダイレクトさせるようなリンクを作って, そいつらを登録したsitemapをgoogle search consoleに投げれば爆速でイ YuWd (Yuiga Wada) misc Network SEO post https://yuiga.dev/blog/ja/posts/vuforia_ar%E3%83%9E%E3%83%BC%E3%82%AB%E3%83%BC%E3%81%AF%E9%9D%9E%E5%AF%BE%E7%A7%B0%E3%81%AA%E9%85%8D%E7%BD%AE%E3%81%8C%E7%B2%BE%E5%BA%A6%E3%82%92%E4%B8%8A%E3%81%92%E3%82%8B/ Tue, 16 Aug 2022 20:45:55 +0900 Tue, 16 Aug 2022 20:45:55 +0900 https://yuiga.dev/blog/ja/posts/vuforia_ar%E3%83%9E%E3%83%BC%E3%82%AB%E3%83%BC%E3%81%AF%E9%9D%9E%E5%AF%BE%E7%A7%B0%E3%81%AA%E9%85%8D%E7%BD%AE%E3%81%8C%E7%B2%BE%E5%BA%A6%E3%82%92%E4%B8%8A%E3%81%92%E3%82%8B/ Vuforiaのマーカー検出精度はゴミ 出来るだけARマーカーの検出精度を上げたい Vuforiaは何を見てマーカーを判断しているのか？ コーナー検出っぽいのやって特徴量を抽出してる模様 https://library.vuforia.com/objects/best-practices-designing-and-developing-image-based-targets なるだけ特徴量をまばらに(=対称性を持たせない様式で)配置すると良いようだ 下の図はopencvでもvuforiaでも簡単に使えるARマーカ YuWd (Yuiga Wada) featured image CV post https://yuiga.dev/blog/ja/posts/github_%E8%87%AA%E5%88%86%E3%81%AEid%E3%81%AE%E5%85%A5%E3%81%A3%E3%81%9F%E4%BB%96%E4%BA%BA%E3%81%AE%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8E%A2%E3%81%99/ Tue, 16 Aug 2022 20:45:50 +0900 Tue, 16 Aug 2022 20:45:50 +0900 https://yuiga.dev/blog/ja/posts/github_%E8%87%AA%E5%88%86%E3%81%AEid%E3%81%AE%E5%85%A5%E3%81%A3%E3%81%9F%E4%BB%96%E4%BA%BA%E3%81%AE%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8E%A2%E3%81%99/ username -user:usernameで検索するとドバーッと出てくる 例: yuigawada -user:yuigawada https://github.com/search?o=desc&p=1&q=yuigawada+-user%3Ayuigawada&s=indexed&type=Code YuWd (Yuiga Wada) featured image misc post https://yuiga.dev/blog/ja/posts/golang_append%E3%81%AE%E6%8C%99%E5%8B%95/ Tue, 16 Aug 2022 20:45:44 +0900 Tue, 16 Aug 2022 20:45:44 +0900 https://yuiga.dev/blog/ja/posts/golang_append%E3%81%AE%E6%8C%99%E5%8B%95/ 1 2 s := append(str[:j], hoge...) s = append(s, str[j:]...) こういうコードでバグるときがある そもそもappendとはどういうものか？ append(str[:j](https://scrapbox.io/yuwd/%3Aj),hoge...)をすると, appendはまずcap(str)を見る cap(str)にhogeが入りきらないとわかると, より長い配列を作成 YuWd (Yuiga Wada) golang post https://yuiga.dev/blog/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88/ Mon, 15 Aug 2022 23:36:52 +0900 Mon, 15 Aug 2022 23:36:52 +0900 https://yuiga.dev/blog/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88/ STAIR MSCOCOにキャプションを付与 全部で820,310件のキャプション http://captions.stair.center/ Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi, “STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset”, Annual Meeting of the Association for Computational Linguistics (ACL), Short Paper, 2017. YJ Captions 26k Dataset こちらもMSCOCOにキャプションを付与したもので, ACL2016 キャプション数がSTAIRの1/6程度 https://github.com/yahoojapan/YJCaptions Takashi Miyazaki and Nobuyuki Shimizu. 2016. Cross-Lingual Image Caption Generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1780 YuWd (Yuiga Wada) 機械学習 NLP Vision-and-Language post https://yuiga.dev/blog/ja/posts/about_me_yuiga_wada_yuwd_%E5%92%8C%E7%94%B0%E5%94%AF%E6%88%91/ Mon, 15 Aug 2022 23:36:36 +0900 Mon, 15 Aug 2022 23:36:36 +0900 https://yuiga.dev/blog/ja/posts/about_me_yuiga_wada_yuwd_%E5%92%8C%E7%94%B0%E5%94%AF%E6%88%91/ Yuiga Wada (和田唯我) @YuigaWada (alias: YuWd) 慶應義塾大学 理工学部 情報工学科 M1 Computer Science | Philosophy | Literature Blog / Twitter / GitHub ブログを読んでほしい(切実) Skill Swift / Objective-C Python / PyTorch Rust Golang C++ / C C# OCaml Typescript: Vue, Nuxt, … etc Java Javascript psql Major Machine Learning Computer Science Fav & Hobby Philosophy Heidegger Husserl Literature Haruki Murakami Osamu Dazai Kobo Abe Anime Attack on Titan JOJO Programing 競プロ (AtCoder, Highest: 1545) iOS Web Frontend & Backend System Programming … ? Machine Learning (PyTorch) Survey paper 機械学習 Work iCimulator: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. (Swift) PolioPager: A flexible TabBarController library with search tab like SNKRS (Swift) CallSlicer : A tweak that enables your Apple Watch to YuWd (Yuiga Wada) featured image misc post https://yuiga.dev/blog/ja/posts/otter_data_efficient_language-supervised_zero-shot_recognition_with_optimal_transport_distillation/ Wed, 10 Aug 2022 18:01:53 +0900 Wed, 10 Aug 2022 18:01:53 +0900 https://yuiga.dev/blog/ja/posts/otter_data_efficient_language-supervised_zero-shot_recognition_with_optimal_transport_distillation/ モチベーション CLIPは単位行列を教師として学習する → バッチ内の負例同士にゆるい相関があった場合, 負例を全て0として学習するのは違うよね → 最適輸送問題を解いたものを教師として活用しよう OTTER (Optimal TransporT distillation for Efficient zero-shot Recognition) を提案 Prototypical Contrastive Learning of Unsupervised Representationsと若干同じ感じ loss InfoNCEを拡張して $$\mathcal{L}_v = -\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^N [\alpha I_{ij} + (1-\alpha) M^{v}_{ij}\rbrack \log p_v(\mathbf{z}_i^v, \mathbf{z}_j^t;\tau)$$ とする イ YuWd (Yuiga Wada) featured image 論文 Vision-and-Language https://yuiga.dev/blog/ja/posts/%E6%9C%80%E9%81%A9%E8%BC%B8%E9%80%81%E5%95%8F%E9%A1%8C/ Wed, 10 Aug 2022 18:01:34 +0900 Wed, 10 Aug 2022 18:01:34 +0900 https://yuiga.dev/blog/ja/posts/%E6%9C%80%E9%81%A9%E8%BC%B8%E9%80%81%E5%95%8F%E9%A1%8C/ 輸送コスト $C_{i,j}$と輸送量 $P_{i,j}$の積を最小化 これにエントロピー項のついた, 「エントロピー付き最適輸送コスト」問題になると, Sinkhorn-Knoppアルゴリズムが使える また, 双対問題はargminではなくargmaxとなる https://www.slideshare.net/joisino/ss-249394573?from_action=save tips 最適輸送はKLよりも良いことずくし 最適輸送は距離構造を利用できる 分布の YuWd (Yuiga Wada) featured image post https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%AEcli-viewer%E4%BD%9C%E3%81%A3%E3%81%9F/ Wed, 03 Aug 2022 02:43:00 +0900 Wed, 03 Aug 2022 02:43:00 +0900 https://yuiga.dev/blog/ja/posts/scrapbox%E3%81%AEcli-viewer%E4%BD%9C%E3%81%A3%E3%81%9F/ Golangでなにか作ろうということで作ってみた https://github.com/YuigaWada/scrapbox-cli install → go install github.com/YuigaWada/scrapbox-cli/sbox@latest viewerとしての最低限の機能は作った レンダリング機能 bold → 太文字 hashtag → 背景青 link-color → 青文字 リンク機能 下の選択スペースから何hopでもリンク辿れる goroutineで読み込むためI/Oをブロックしない 検索機能 タイトルで検索可 YuWd (Yuiga Wada) featured image misc post https://yuiga.dev/blog/ja/posts/%E7%AB%B6%E3%83%97%E3%83%AD/ Tue, 02 Aug 2022 19:09:19 +0900 Tue, 02 Aug 2022 19:09:19 +0900 https://yuiga.dev/blog/ja/posts/%E7%AB%B6%E3%83%97%E3%83%AD/ 貪欲 deque スタック キュー グラフ化 (Graph) BFS DFS Bit全探索 DP 累積和 二次元累積和 尺取法 二分探索 Union-Find ソート ダイクストラ ベルマンフォード ワーシャルフロイド 最小全域木 PQ セグ木 最大流 スター型グラフ 二次元座標を二部グラフにする(ABC 131 F) dpはとりあえず立式したほうがいい Dpは解けなそうで何でも解けるので、亜種dpを徹底的に試すと良い ダブリング YuWd (Yuiga Wada) featured image 競プロ アルゴリズム post https://yuiga.dev/blog/ja/posts/tokengt_pure_transformers_are_powerful_graph_learners/ Tue, 02 Aug 2022 18:58:30 +0900 Tue, 02 Aug 2022 18:58:30 +0900 https://yuiga.dev/blog/ja/posts/tokengt_pure_transformers_are_powerful_graph_learners/ グラフをそのままTransformerにブチこむ手法 GNNより帰納バイアスが少ないが, GNNよりも良い精度を達成 入力について まず, ノードとエッジをそれぞれ独立なものとして捉え, それぞれを同等にトークン $X$とする そのトークンに, ノードなのかエッジなのかを判別するType Identifiersをconcatして入力 トーク YuWd (Yuiga Wada) featured image 論文 Graph https://yuiga.dev/blog/ja/posts/monkey_saddle/ Tue, 02 Aug 2022 18:20:49 +0900 Tue, 02 Aug 2022 18:20:49 +0900 https://yuiga.dev/blog/ja/posts/monkey_saddle/ $z=x^3-3xy^2$をMonkey saddleと呼ぶらしい https://en.wikipedia.org/wiki/Monkey_saddle Monkey saddleは退化臨界点である (cf. Morse関数) YuWd (Yuiga Wada) featured image 数学 post https://yuiga.dev/blog/ja/posts/morse%E9%96%A2%E6%95%B0/ Tue, 02 Aug 2022 00:48:17 +0900 Tue, 02 Aug 2022 00:48:17 +0900 https://yuiga.dev/blog/ja/posts/morse%E9%96%A2%E6%95%B0/ M を n 次元可微分多様体とする． M 上の $C^∞$ 関数 $f : M → R$の臨界点 $p$が非退化であるとは， $f$ の $p$における Hessian $H_p(f)$ が正則行列となることである．すべての臨界点が非退化であるような関数を Morse 関数とよぶ． https://www.ms.u-tokyo.ac.jp/~kohno/lectures/g1-7.pdf YuWd (Yuiga Wada) 数学 post https://yuiga.dev/blog/ja/posts/why_do_tree-based_models_still_outperform_deep_learning_on_tabular_data/ Mon, 01 Aug 2022 20:18:34 +0900 Mon, 01 Aug 2022 20:18:34 +0900 https://yuiga.dev/blog/ja/posts/why_do_tree-based_models_still_outperform_deep_learning_on_tabular_data/ なぜテーブルデータではGBDTなどの決定木ベース手法がNNよりも強いのかについての論文 １つ目: NNは高周波数成分の学習に弱い なので, 飛び値的なデータに弱い 一方決定木ベース手法は領域を長方形に区切ってるだけなので飛び値的なデータに強い 詳しくは拙作→決定木をフルスクラッチで書けるようになろう (CART) NeRFやPerceiver: YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/deformable_attention_transformer/ Mon, 01 Aug 2022 20:18:22 +0900 Mon, 01 Aug 2022 20:18:22 +0900 https://yuiga.dev/blog/ja/posts/deformable_attention_transformer/ 詳しくは輪講スライド Deformable Conv のDeformと同じ grid上のpositionに対して, offset分positionをずらしてAttention 正式なoffsetはbilinear補完によって求める オブジェクトごとに受容野を歪めることができる YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/prototypical_contrastive_learning_of_unsupervised_representations/ Mon, 01 Aug 2022 20:17:52 +0900 Mon, 01 Aug 2022 20:17:52 +0900 https://yuiga.dev/blog/ja/posts/prototypical_contrastive_learning_of_unsupervised_representations/ 輪講スライド 背景 Instance-wiseな教師なし表現学習 : 加⼯された画像(instance)のペアが同じ元画像に由来するかを識別 MoCo SimCLR SimSiam など Instance-wiseな⼿法における２つの問題点 1- 低次元の特徴だけで識別できるため, 識別はNNにとって簡単なタスク → **⾼密度な情報をエンコードしているとは⾔い難い ** 2- ペア間 YuWd (Yuiga Wada) featured image 論文 対照学習 自己教師あり学習 EMアルゴリズム https://yuiga.dev/blog/ja/posts/gsam_-_surrogate_gap_minimization_improves_sharpness-aware_training/ Mon, 01 Aug 2022 20:16:49 +0900 Mon, 01 Aug 2022 20:16:49 +0900 https://yuiga.dev/blog/ja/posts/gsam_-_surrogate_gap_minimization_improves_sharpness-aware_training/ はじめに SAMの改良 (SAM : Sharpness-Aware Minimization) Surrogate Gap Minimization Improves Sharpness-Aware Training 論文メモ 問題提起 SAMの計算式では, 本当にフラットな損失点を見つけているとは言えない $$L_\mathcal{S}^\text{SAM}(\mathbf{w}) \triangleq \max_{|\mathbf{\epsilon}|_p\leq\rho} L_\mathcal{S}(\mathbf{w}+\mathbf{\epsilon})$$ 例えば下の図では, 近傍 $f_p$について最適化すると, SAMの場合, 青に収束してしまう危険がある 本当に見るべきは以下に定義するsurrogate gap $h(x)$ $$h(x) := f_p(x) - f(x)$$ surrogate gap $h(x)$については, H YuWd (Yuiga Wada) featured image 論文 Optimizer https://yuiga.dev/blog/ja/posts/toronto_paper_matching_system/ Sun, 31 Jul 2022 17:44:35 +0900 Sun, 31 Jul 2022 17:44:35 +0900 https://yuiga.dev/blog/ja/posts/toronto_paper_matching_system/ YuWd (Yuiga Wada) misc 論文 post https://yuiga.dev/blog/ja/posts/regionclip_region-based_language-image_pretraining/ Sat, 30 Jul 2022 23:26:06 +0900 Sat, 30 Jul 2022 23:26:06 +0900 https://yuiga.dev/blog/ja/posts/regionclip_region-based_language-image_pretraining/ 問題点: CLIPは画像全体を用いるため, 物体検出には向かない そこで, 本論文ではCLIPをRegion-text matchingへと拡張した CLIPを用いた open-vocabularyな物体検出タスクが行える open-vocabulary object detection 関連研究としてViLDを挙げている ViLD: Open-vocabulary Object Detection via Vision and Language Knowledge Distillation CVPR22 流れ [RPN](Resion Proposal Network)を用いて候補領域を探す RP YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/rpn/ Sat, 30 Jul 2022 23:21:29 +0900 Sat, 30 Jul 2022 23:21:29 +0900 https://yuiga.dev/blog/ja/posts/rpn/ Resion Proposal Network 背景なのか, 物体が写っているのかだけを識別するサブモジュール Faster-RCNNにおいては, ①RPNで領域を絞ってから, ②それぞれ個々の物体についてラベルを絞っていく Faster-RCNNの学習では, 「RPNの重み更新→モデル全体の重み更新」を繰り返して学習 RPNでは, Anchor boxが背景か物体か / 物体ならばGTとの YuWd (Yuiga Wada) featured image 機械学習 post https://yuiga.dev/blog/ja/posts/wl_test/ Thu, 28 Jul 2022 23:38:47 +0900 Thu, 28 Jul 2022 23:38:47 +0900 https://yuiga.dev/blog/ja/posts/wl_test/ 引用: https://davidbieber.com/post/2019-05-10-weisfeiler-lehman-isomorphism-test/ 正式名称: The Weisfeiler-Lehman Isomorphism Test グラフが同型であるかチェックするアルゴリズム 各ノード $i$に適当なラベル $C_i = 1$を割り当てる 隣接するノードの多重集合 $L_i$をノードに記録する 多重集合 $L_i$をハッシュに通して新たな $C_i$を得る ( $C_i \leftarrow hash(L_i)$) 以上を繰り返して, ノードの分割 ${C_i}$が収束したら停止 ２つのグラフが[* 同じ $ YuWd (Yuiga Wada) featured image Graph 数学 post https://yuiga.dev/blog/ja/posts/when_shift_operation_meets_vision_transformer_an_extremely_simple_alternative_to_attention_mechanism/ Thu, 28 Jul 2022 23:34:35 +0900 Thu, 28 Jul 2022 23:34:35 +0900 https://yuiga.dev/blog/ja/posts/when_shift_operation_meets_vision_transformer_an_extremely_simple_alternative_to_attention_mechanism/ Attentionはglobalでdynamic dynamicについては On the Connection between Local Attention and Dynamic Depth-wise Convolution しかし global→SwinTransformerを見るとそこまでViTの精度に関係なさそう dynamic→MLP-Mixerを見ると, MLPはstaticなので精度に関係なさそう そこでShiftViTを提案 上図のように, 入力の YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/p4m%E7%BE%A4/ Tue, 26 Jul 2022 22:14:09 +0900 Tue, 26 Jul 2022 22:14:09 +0900 https://yuiga.dev/blog/ja/posts/p4m%E7%BE%A4/ 任意の並進操作 + 任意の90度回転操作を元とする集合が群であるとき, p4群と呼ぶ さらに鏡映操作についても群ならばp4m群と呼ぶ 一般にpn群は回転対称数が360°/n 回であり, 鏡映対称性が成り立つならばsuffixにmが付く YuWd (Yuiga Wada) 群論 post https://yuiga.dev/blog/ja/posts/%E3%81%AA%E3%81%9Cerrno%E3%81%8C%E5%BF%85%E8%A6%81%E3%81%8B/ Mon, 25 Jul 2022 18:11:57 +0900 Mon, 25 Jul 2022 18:11:57 +0900 https://yuiga.dev/blog/ja/posts/%E3%81%AA%E3%81%9Cerrno%E3%81%8C%E5%BF%85%E8%A6%81%E3%81%8B/ 例えばfopenなど, そもそも構造体やポインタを返すようなものだと, エラーハンドリングがしにくい じゃあ常にタプルっぽく返せばいいんじゃない？ エラーハンドリングが必要ない場合, 普通のCだと非常に煩雑になり得る メモリの解放とかめんどいし そこで, グローバルなerrnoが設計された 現在の多くの言語ではタプルを返すことができるの YuWd (Yuiga Wada) C post https://yuiga.dev/blog/ja/posts/boxinst_high-performance_instance_segmentation_with_box_annotations/ Mon, 25 Jul 2022 12:31:50 +0900 Mon, 25 Jul 2022 12:31:50 +0900 https://yuiga.dev/blog/ja/posts/boxinst_high-performance_instance_segmentation_with_box_annotations/ Instance SegmentationをBBOXのみで学習するモデルを提案 BBOXのみで学習するのでアノテーションが必要ないのが利点 新たな損失を提案 Projection Loss Pairwise affinity Loss todo YuWd (Yuiga Wada) 論文 https://yuiga.dev/blog/ja/posts/shifting_more_attention_to_visual_backbone_query-modulated_refinement_networks_for_end-to-end_visual_grounding/ Mon, 25 Jul 2022 12:30:45 +0900 Mon, 25 Jul 2022 12:30:45 +0900 https://yuiga.dev/blog/ja/posts/shifting_more_attention_to_visual_backbone_query-modulated_refinement_networks_for_end-to-end_visual_grounding/ 通常のV&Lモデルでは, 画像のバックボーンネットワークは言語特徴量を使用しない そのようなモデルでは, 「画像にりんごはいくつあるか？」などといったVQAタスクすら解けない(可能性が高い) そこで, SwinTransformerを拡張し, 各ステージで言語特徴量をspatial / channel方向にmixしながら推論し YuWd (Yuiga Wada) featured image 論文 Vision-and-Language https://yuiga.dev/blog/ja/posts/referitgame/ Mon, 25 Jul 2022 12:23:45 +0900 Mon, 25 Jul 2022 12:23:45 +0900 https://yuiga.dev/blog/ja/posts/referitgame/ 画像-参照表現におけるデータセット 割と大きいデータセットみたい the game has produced a dataset containing 130,525 expressions, referring to 96,654 distinct objects, in 19,894 photographs of natural scenes. ゲーム形式でアノテーションされる アノテータは二人 二人でアノテーションを行う まずプレイヤーAがキャプションを考える 次にもうひとりのプレイヤーBがそのキャプションが正しいかを当てる BはAのキャプションが指している物体をクリ YuWd (Yuiga Wada) featured image 機械学習 dataset post https://yuiga.dev/blog/ja/posts/pca_color_augmentation_pcaca/ Mon, 25 Jul 2022 01:02:44 +0900 Mon, 25 Jul 2022 01:02:44 +0900 https://yuiga.dev/blog/ja/posts/pca_color_augmentation_pcaca/ AlexNetで使われたらしいData augumentation手法 そんなに使われてるイメージはない. 古代の手法？？ Fancy PCA / PCACAとも言うらしい？(要出典) 画像中の色の分布を考慮したデータ拡張ができる 例えば, 明るいところは明るく, 暗いところは暗く調節できる 流れは簡単 $C\times H\times W$をflattenして, $C\times HW$にする 各チャネ YuWd (Yuiga Wada) CV 機械学習 post https://yuiga.dev/blog/ja/posts/blip_bootstrapping_language-image_pre-training_for_unified_vision-language_understanding_and_generation/ Mon, 25 Jul 2022 00:48:05 +0900 Mon, 25 Jul 2022 00:48:05 +0900 https://yuiga.dev/blog/ja/posts/blip_bootstrapping_language-image_pre-training_for_unified_vision-language_understanding_and_generation/ 提案手法は主に２つの機構で構成される Multimodal mixture of Encoder-Decoder (MED) Captioning and Filtering (CapFilt): CLIPの使用するデータセットはnoisy なので, キャプションの取捨選択を自動で行う機構を導入 流れ ノイズを含む元のデータセットでMEDを学習 事前学習されたMEDを用いてCapFiltを実行 CapFiitによって得られたデータセットを用いて再度MEDを学習 MED Image-TextContrastiveLoss(ITC) 画像特徴 YuWd (Yuiga Wada) featured image 論文 Vision-and-Language https://yuiga.dev/blog/ja/posts/perspective-n-point%E5%95%8F%E9%A1%8C/ Sat, 23 Jul 2022 23:47:26 +0900 Sat, 23 Jul 2022 23:47:26 +0900 https://yuiga.dev/blog/ja/posts/perspective-n-point%E5%95%8F%E9%A1%8C/ 世界座標系における3D点群と, それらに対応する2D画像が与えられた場合において, カメラのポーズ推定を行う問題 カメラのポーズは平行移動と回転の6DOFで, Perspective-n-Point問題はPnPと略されることが多い P3Pは最低三点あれば解ける 一般化されたPnPを解くアルゴリズムは様々ある EPnP SQPnP: A Consistently Fast and Globally Optimal Solution to the Perspective-n-Point YuWd (Yuiga Wada) CV post https://yuiga.dev/blog/ja/posts/sqpnp_a_consistently_fast_and_globally_optimal_solution_to_the_perspective-n-point_problem/ Sat, 23 Jul 2022 21:47:17 +0900 Sat, 23 Jul 2022 21:47:17 +0900 https://yuiga.dev/blog/ja/posts/sqpnp_a_consistently_fast_and_globally_optimal_solution_to_the_perspective-n-point_problem/ ECCV2020 YuWd (Yuiga Wada) CV post https://yuiga.dev/blog/ja/posts/large-scale_adversarial_training_for_vision-and-language_representation_learning/ Thu, 21 Jul 2022 11:30:58 +0900 Thu, 21 Jul 2022 11:30:58 +0900 https://yuiga.dev/blog/ja/posts/large-scale_adversarial_training_for_vision-and-language_representation_learning/ 各モダリティについて摂動を加えて学習 YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/on_the_connection_between_local_attention_and_dynamic_depth-wise_convolution/ Mon, 18 Jul 2022 00:18:19 +0900 Mon, 18 Jul 2022 00:18:19 +0900 https://yuiga.dev/blog/ja/posts/on_the_connection_between_local_attention_and_dynamic_depth-wise_convolution/ AttentionとDepthwise-Conv(DwConv)は似ているよ, という論文 上図は画像をflatten or patchifyしたものがspatial方向であると捉えればOK (a): 畳み込み ある区間の画素値と複数チャネルを使って一つの埋め込みを生成 (c): DepthWise と local attention ある一つのチャネルに対して, 区間の画素値のみから生成 (Poin YuWd (Yuiga Wada) featured image 論文 https://yuiga.dev/blog/ja/posts/ntk/ Sun, 17 Jul 2022 23:41:03 +0900 Sun, 17 Jul 2022 23:41:03 +0900 https://yuiga.dev/blog/ja/posts/ntk/ Neural Tangent Kernel 以下に示すようなカーネル $$k_{\mathrm{NTK}}(x_i, x_j) = E_{\theta \sim \N} \left\langle \frac{\partial f(x_i; \theta)}{\partial \theta}, \frac{\partial f(x_j; \theta)}{\partial \theta} \right\rangle$$ 特に, 入力をhypersphereに限定すると, MLPのNTKは $h_{\mathrm{NTK}}(\mathbf x_i^\top \mathbf x_j)$と内積の形で書ける 幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい) なので, NNの解析がかな YuWd (Yuiga Wada) 機械学習 数学 post https://yuiga.dev/blog/ja/posts/word_tour_one-dimensional_word_embeddings_via_the_traveling_salesman_problem/ Sun, 17 Jul 2022 22:14:54 +0900 Sun, 17 Jul 2022 22:14:54 +0900 https://yuiga.dev/blog/ja/posts/word_tour_one-dimensional_word_embeddings_via_the_traveling_salesman_problem/ 単語の埋め込みを一次元で行う TSPを解くだけ 論文中ではWord Tour と呼んでいる GBDT等の決定木ベース手法が解釈しやすいようにWord Tour を使うとうまくいく場合があるらしい 例えば, NNで特徴量を作った後に, Word Tourでクラスタの重心を一次元に埋め込んでGBDTに掛ける的な https://twitter.com/Py2K4/status/1545215820413865985 YuWd (Yuiga Wada) 論文 https://yuiga.dev/blog/ja/posts/canny%E6%B3%95/ Sat, 16 Jul 2022 03:09:44 +0900 Sat, 16 Jul 2022 03:09:44 +0900 https://yuiga.dev/blog/ja/posts/canny%E6%B3%95/ かなり古い(1986年)エッジ検出手法 授業で使ってるチームがいたので気になって調べてみた 流れ ノイズをへらすため, ガウシアンフィルタ ソーベルフィルタを用いて画素値を微分し, 勾配と法線ベクトルを求める →ついでにこれで輪郭を抽出したことになる 抽出した輪郭線を細くしていく → ある画素 $x$に注目したとき, 法線方向に隣接する2点を YuWd (Yuiga Wada) featured image CV post https://yuiga.dev/blog/ja/posts/modeling_the_distribution_of_normal_data_in_pre-trained_deep_features_for_anomaly_detection/ Fri, 15 Jul 2022 00:54:41 +0900 Fri, 15 Jul 2022 00:54:41 +0900 https://yuiga.dev/blog/ja/posts/modeling_the_distribution_of_normal_data_in_pre-trained_deep_features_for_anomaly_detection/ モデルを学習させることなく, 異常検知を行う 流れ 事前学習済みEfficientNetに正常データを流す モデルの中間層で抽出された正常データの特徴量を, 各層ごとに多次元正規分布で近似 得られた分布を正常データの分布と仮定し, マハラノビス距離を用いて異常検知 例えば下図だと, 32x112x112の特徴量をGlobal Average Pooli YuWd (Yuiga Wada) featured image 論文 異常検知 https://yuiga.dev/blog/ja/posts/sighup/ Fri, 15 Jul 2022 00:54:30 +0900 Fri, 15 Jul 2022 00:54:30 +0900 https://yuiga.dev/blog/ja/posts/sighup/ ターミナルの終了時やハングアップによって送られるシグナル DHCPを作成する演習で, SIGHUPをハンドリングしろと言われてピンと来なかったが どうやら サーバプロセスの多くはSIGHUPを受け取るとプロセスを終了して再起動する https://atmarkit.itmedia.co.jp/ait/articles/1708/04/news015.html らしいので, 合点。 nohupを使えばSIGHUPがプロセスへ送られないようにできるらしい https://qiita.com/f0o0o/items/7f9dfaf3f7392c0ce52f YuWd (Yuiga Wada) Computer shell post