行李の底に収めたり[YuWd]

NTK

📅 2022/7/17 · ☕ 1 min read

Neural Tangent Kernel 以下に示すようなカーネル

k_{NTK} (x_{i}, x_{j}) = E_{θ \sim \N} ⟨ \frac{\partial f (x_{i}; θ)}{\partial θ}, \frac{\partial f (x_{j}; θ)}{\partial θ} ⟩

特に, 入力をhypersphereに限定すると, MLPのNTKは

h_{NTK} (x_{i}^{⊤} x_{j})

と内積の形で書ける幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい) なので, NNの解析がかな ...

【論文メモ】Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem

📅 2022/7/17 · ☕ 1 min read

単語の埋め込みを一次元で行う TSPを解くだけ論文中ではWord Tour と呼んでいる GBDT等の決定木ベース手法が解釈しやすいようにWord Tour を使うとうまくいく場合があるらしい例えば, NNで特徴量を作った後に, Word Tourでクラスタの重心を一次元に埋め込んでGBDTに掛ける的な https://twitter.com/Py2K4/status/1545215820413865985 ...

#論文

Canny法

📅 2022/7/16 · ☕ 1 min read

かなり古い(1986年)エッジ検出手法授業で使ってるチームがいたので気になって調べてみた流れノイズをへらすため, ガウシアンフィルタソーベルフィルタを用いて画素値を微分し, 勾配と法線ベクトルを求める →ついでにこれで輪郭を抽出したことになる抽出した輪郭線を細くしていく → ある画素

x

に注目したとき, 法線方向に隣接する2点を ...

#CV
#post

【論文メモ】Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection

📅 2022/7/15 · ☕ 1 min read

モデルを学習させることなく, 異常検知を行う流れ事前学習済みEfficientNetに正常データを流すモデルの中間層で抽出された正常データの特徴量を, 各層ごとに多次元正規分布で近似得られた分布を正常データの分布と仮定し, マハラノビス距離を用いて異常検知例えば下図だと, 32x112x112の特徴量をGlobal Average Pooli ...

【論文メモ】Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection

SIGHUP

📅 2022/7/15 · ☕ 1 min read

ターミナルの終了時やハングアップによって送られるシグナル DHCPを作成する演習で, SIGHUPをハンドリングしろと言われてピンと来なかったがどうやらサーバプロセスの多くはSIGHUPを受け取るとプロセスを終了して再起動する https://atmarkit.itmedia.co.jp/ait/articles/1708/04/news015.html らしいので, 合点。 nohupを使えばSIGHUPがプロセスへ送られないようにできるらしい https://qiita.com/f0o0o/items/7f9dfaf3f7392c0ce52f ...

TailwindCSS

📅 2022/7/13 · ☕ 1 min read

最近, Tailwind + Hugoでポートフォリオを作り直した → https://yuiga.dev TailwindCSS めちゃんこ高速に書けるのでとても良い感覚としてはキーバインドとか, スニペットに通じるキーバインドでスニペット貼ってる感覚メンテナンス面はどうなの？ https://tailwindcss.com/docs/reusing-styles#extracting-template-components によると Utility-Firstに則り, 「CSSを定義するのではなく, コンポーネント化しろ」とのことなるほど, ここにV ...

【論文メモ】Representation Learning on Graphs with Jumping Knowledge Networks

📅 2022/7/12 · ☕ 1 min read

概要隣接ノードからのaggregationだけでは, k層のGCNはただのrandom-walkと変わらない r.w = random-walk 濃い色のノードはInfluence Probabilityの高いもの各ノードの影響範囲が大きくてもダメだし, 小さくてもダメなので, 各層の出力をすべて使用し, モデルに適切な影響半径を決めさせるJumping Knowledge Ne ...

【論文メモ】Representation Learning on Graphs with Jumping Knowledge Networks

再生核ヒルベルト空間

📅 2022/7/12 · ☕ 1 min read

再生性

f (x) =< f, ϕ (x) >_{H}

「再生核ヒルベルト空間」= 再生性が成り立つヒルベルト空間 todo ...

ヒルベルト空間

📅 2022/7/12 · ☕ 1 min read

ベクトル空間

\supset

内積空間

\supset

ヒルベルト空間まず「ベクトル空間」についてベクトル空間の公理 (群論を想起すれば自然と思い出せる) 加法について閉じており, 零元, 逆元が存在 / 結合則・交換則が成立スカラー積について閉じており, 零元, 逆元が存在 / 結合則が成立スカラー積と加法の間で分配法則が成立

λ (a + b) = λ a + λ b

こいつらが成り立てばまずはベク ...

【論文メモ】Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains

📅 2022/7/12 · ☕ 2 min read

NeRFで用いられるPositional Encodingについて, NTKによる分析を行った論文

γ (t) = (\sin (2^{0} t π), \cos (2^{0} t π), \dots, \sin (2^{L} t π), \cos (2^{L} t π))

NeRFのPositional Encoding をバンドパスフィルタと考える低周波数成分→高周波数成分への写像関数の学習 Positional Encodingを入れるかどうかでだいぶ精度が変わる例えば(b)の場合, (x,y) の座標値からRGBを復元するML ...

#論文

【論文メモ】Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains

MPI (Multiplane Image)

📅 2022/7/12 · ☕ 1 min read

画像を複数レイヤーの重なりとして分解する →MPI表現 ...

#CV
#post

ストレスなくpdbを使う方法

📅 2022/7/11 · ☕ 1 min read

TL;DR pdbを使おうとすると, ブレークポイントが必要かどうかに拘らずcを入力する必要がある →ストレス😠 -m pdbだけでなく-c cをつけると自動でpdbモードに入ってくれる →ストレスフリー✨ 1 python -m pdb -c c main.py なので ~/.zshrcに 1 alias pdb="python -m pdb -c c" とでも書いておけば, デバッグしたいときにpythonをpdbに変えてしまうだけでいいの ...