Posts
【論文メモ】Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
· ☕ 1 min read
単語の埋め込みを一次元で行う TSPを解くだけ 論文中ではWord Tour と呼んでいる GBDT等の決定木ベース手法が解釈しやすいようにWord Tour を使うとうまくいく場合があるらしい 例えば, NNで特徴量を作った後に, Word Tourでクラスタの重心を一次元に埋め込んでGBDTに掛ける的な https://twitter.com/Py2K4/status/1545215820413865985 ...
Canny法
· ☕ 1 min read
かなり古い(1986年)エッジ検出手法 授業で使ってるチームがいたので気になって調べてみた 流れ ノイズをへらすため, ガウシアンフィルタ ソーベルフィルタを用いて画素値を微分し, 勾配と法線ベクトルを求める →ついでにこれで輪郭を抽出したことになる 抽出した輪郭線を細くしていく → ある画素 $x$に注目したとき, 法線方向に隣接する2点を ...

Canny法
【論文メモ】Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection
· ☕ 1 min read
モデルを学習させることなく, 異常検知を行う 流れ 事前学習済みEfficientNetに正常データを流す モデルの中間層で抽出された正常データの特徴量を, 各層ごとに多次元正規分布で近似 得られた分布を正常データの分布と仮定し, マハラノビス距離を用いて異常検知 例えば下図だと, 32x112x112の特徴量をGlobal Average Pooli ...

【論文メモ】Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection
SIGHUP
· ☕ 1 min read
ターミナルの終了時やハングアップによって送られるシグナル DHCPを作成する演習で, SIGHUPをハンドリングしろと言われてピンと来なかったが どうやら サーバプロセスの多くはSIGHUPを受け取るとプロセスを終了して再起動する https://atmarkit.itmedia.co.jp/ait/articles/1708/04/news015.html らしいので, 合点。 nohupを使えばSIGHUPがプロセスへ送られないようにできるらしい https://qiita.com/f0o0o/items/7f9dfaf3f7392c0ce52f ...
TailwindCSS
· ☕ 1 min read
最近, Tailwind + Hugoでポートフォリオを作り直した → https://yuiga.dev TailwindCSS めちゃんこ高速に書けるのでとても良い 感覚としてはキーバインドとか, スニペットに通じる キーバインドでスニペット貼ってる感覚 メンテナンス面はどうなの？ https://tailwindcss.com/docs/reusing-styles#extracting-template-components によると Utility-Firstに則り, 「CSSを定義するのではなく, コンポーネント化しろ」とのこと なるほど, ここにV ...

TailwindCSS
【論文メモ】Representation Learning on Graphs with Jumping Knowledge Networks
· ☕ 1 min read
概要 隣接ノードからのaggregationだけでは, k層のGCNはただのrandom-walkと変わらない r.w = random-walk 濃い色のノードはInfluence Probabilityの高いもの 各ノードの影響範囲が大きくてもダメだし, 小さくてもダメ なので, 各層の出力をすべて使用し, モデルに適切な影響半径を決めさせるJumping Knowledge Ne ...

【論文メモ】Representation Learning on Graphs with Jumping Knowledge Networks
ヒルベルト空間
· ☕ 1 min read
ベクトル空間 $\supset$ 内積空間 $\supset$ ヒルベルト空間 まず「ベクトル空間」について ベクトル空間の公理 (群論を想起すれば自然と思い出せる) 加法について閉じており, 零元, 逆元が存在 / 結合則・交換則が成立 スカラー積について閉じており, 零元, 逆元が存在 / 結合則が成立 スカラー積と加法の間で分配法則が成立 $$\lambda (a+b)=\lambda a + \lambda b$$ こいつらが成り立てばまずはベク ...
【論文メモ】Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains
· ☕ 2 min read
NeRFで用いられるPositional Encodingについて, NTKによる分析を行った論文 $$\gamma(t) = (\sin(2^0t\pi), \cos(2^0t\pi), \cdots, \sin(2^Lt\pi), \cos(2^Lt\pi))$$ NeRFのPositional Encoding をバンドパスフィルタと考える 低周波数成分→高周波数成分への写像関数の学習 Positional Encodingを入れるかどうかでだいぶ精度が変わる 例えば(b)の場合, (x,y) の座標値からRGBを復元するML ...

【論文メモ】Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains
ストレスなくpdbを使う方法
· ☕ 1 min read
TL;DR pdbを使おうとすると, ブレークポイントが必要かどうかに拘らずcを入力する必要がある →ストレス😠 -m pdbだけでなく-c cをつけると自動でpdbモードに入ってくれる →ストレスフリー✨ 1 python -m pdb -c c main.py なので ~/.zshrcに 1 alias pdb="python -m pdb -c c" とでも書いておけば, デバッグしたいときにpythonをpdbに変えてしまうだけでいいの ...
【論文メモ】Perceiver: General Perception with Iterative Attention
· ☕ 1 min read
Transformer を改善 Qを潜在変数とすることで, $L^2$の呪いから解放してあげる 音声系 / 時系列予測 にも適してる 潜在変数をcentroidとして, 高次元の入力 $x$ をend-to-endでクラスタリングしてるとも捉えうる つまり, 入力 $x$をタグ付けしてるイメージ (と論文内で言っている) Positional Encoding 普通のPEの代わりに, フーリエ変換した特徴量を使 ...

【論文メモ】Perceiver: General Perception with Iterative Attention
【論文メモ】NeRF
· ☕ 1 min read
Positional Encoding 低周波成分である $(x,y,z,\theta,\phi)$から高周波成分である $(R,G,B,D)$を復元するため, 以下に示すPositional Encodingを通したあとにMLPに入力 $$\gamma(t) = (\sin(2^0t\pi), \cos(2^0t\pi), \cdots, \sin(2^Lt\pi), \cos(2^Lt\pi))$$ この機構をNTKによって実験した論文→ Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains このPositional Encodingはフーリエ特 ...

【論文メモ】NeRF

©2024, All Rights Reserved