post
Feature Pyramid Networks
· ☕ 2 min read
Feature Pyramid Networks とは Feature Pyramid Networks (FPN) は,前段のボトムアップなCNNの後段に,deepな層とshallowな層をトップダウンに接続した上で,更に各スケール階層同士をスキップ接続でつないで,砂時計型Encoder-Decoderを構成するの特徴集約のCNNバックボーンを拡張する構造である.FAIRの物体検出が得意な有名チームから提案されたこ ...


二重確率行列
· ☕ 1 min read
正方行列 すべての行和とすべての列和が1 行列の全成分が0以上 こいつを確率推移行列とするような確率推移は全要素が均一な状態に収束 ...

N-Shot Learning
· ☕ 1 min read
https://ananas1845.hatenablog.com/entry/2019/12/22/022405 ...

問題を如何に見つけるか
· ☕ 3 min read
はじめに モデルを取っ替えるだけが"“研究"“なら, 研究はただの博打に過ぎない 重要なのは分析と評価である しかし, わかりやすい分析だけでは研究にならない(気がする) したがって, まずは分析手法を徹底的にカテゴライズする必要がある できればこれらのメトリクスを常に表示できるようにしたい ...


ウェーブレット変換
· ☕ 1 min read
フーリエの場合は無限に続く正弦波を元に波形を復元する 一方, ウェーブレットの場合は, ウェーブレットと呼ばれる波の断片を寄せ集めて波形を復元する したがって, ウェーブレットの場合は当該箇所を探しに行かなくてはならない だが, これが逆にメリットであり, 時系列情報を保持したまま周波数領域に持っていくようなことができる 例えば下のよう ...


ランク学習
· ☕ 1 min read
Learning to Rank 写真群から動画を復元するイメージかな? ...


多様体
· ☕ 1 min read
地球と地図の関係に近い 地球は多数の地図によって分割できるが, 重なりが生じたり, 膨らみが生じたりする 同様に, 局所的なユークリッド空間を至るところから抽出できるものが多様体 ...

Poincaré Embeddings
· ☕ 1 min read
そのなかでも, Poincare Ballという双曲空間に埋め込めば階層構造等も表現できるから最高!というお話 双曲空間は木の連続値versionであり, 木は双曲空間の離散versionらしい もちろん, 木を埋め込むことができる 最適化がやや特殊 結局リーマン多様体の話なので, 普通のSGDではなく, RSGD (Riemann SGD)を用いる必要がある そのため, おそら ...


t-SNE
· ☕ 1 min read
SNEにスチューデントのt分布を用いた まず, 元の次元で $x_i$と $x_j$ の距離を確率分布に落とし込む → $p_{j|i}$ すなわち, $x_j$が $x_i$を中心に選ばれるというイメージ どこが距離として強く反応するの?みたいな感じ (図逆やな…) 同様に, 削減後の次元でも $x_i$と $x_j$ の距離を確率分布に落とし込む → $q_{j|i}$ 最後に $p_{j ...


スチューデントのt分布
· ☕ 1 min read
正規分布よりも裾野が高いのが特徴 SNEでは正規分布が用いられたが, t-SNEでは自由度1のスチューデントのtが使われた これにより, 中距離のデータも適切な構造を保ちつつ次元を削減することができる https://gyazo.com/89e1d123199b670bcb3d66bfe62e76d7 ...

凡人理系学部生の我々は何をすべきなのか
· ☕ 8 min read
はじめに プログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つある ─ それは, プログラムにおいては疎結合が好まれ, 小説においては密結合が好まれるという点である. すなわち, 小説において肝要なのは「誤配」や意図せぬ「混線」であ ...