...

そのなかでも, Poincare Ballという双曲空間に埋め込めば階層構造等も表現できるから最高！というお話 双曲空間は木の連続値versionであり, 木は双曲空間の離散versionらしい もちろん, 木を埋め込むことができる 最適化がやや特殊 結局リーマン多様体の話なので, 普通のSGDではなく, RSGD (Riemann SGD)を用いる必要がある そのため, おそら ...

SNEにスチューデントのt分布を用いた まず, 元の次元で $x_i$と $x_j$ の距離を確率分布に落とし込む → $p_{j|i}$ すなわち, $x_j$が $x_i$を中心に選ばれるというイメージ どこが距離として強く反応するの？みたいな感じ (図逆やな…) 同様に, 削減後の次元でも $x_i$と $x_j$ の距離を確率分布に落とし込む → $q_{j|i}$ 最後に $p_{j ...

正規分布よりも裾野が高いのが特徴 SNEでは正規分布が用いられたが, t-SNEでは自由度1のスチューデントのtが使われた これにより, 中距離のデータも適切な構造を保ちつつ次元を削減することができる https://gyazo.com/89e1d123199b670bcb3d66bfe62e76d7 ...

はじめに プログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つある ─ それは, プログラムにおいては疎結合が好まれ, 小説においては密結合が好まれるという点である. すなわち, 小説において肝要なのは「誤配」や意図せぬ「混線」であ ...

Out of Distribution todo そもそもOODって何よ どう定義すれば良い？ 例えば, 平行移動はOOD? ...

SwinTransformerでは有効活用されてるらしい DeiTなどにも Dropoutがネットワークの幅を調整するのに対して, Stochastic Depth ではネットワークの深さを調節する 層のとても深いResNetといったモデルはBackpropagation時の勾配消失や，各パラメータが有効に学習しない，学習時間の増大などが問題点として上げら ...

TransformerとMobileNetを並列に接続 これって, MixFormer と同じ理由でうまく行ってる？ → MixFormer参照 ...

カメラ座標系とロボット座標系の変換 ...

SmoothGrad の $\sum$ の中を二乗したもの ...

roi をencodeしたものをfeature map に投影する際, shapeが合わないので工夫する必要がある → ROI pooling と ROI Align (Mask RCNNはコッチ) mask-branchでmaskを生成 各画素ごとにクラス確率を計算 ROI pooling ROI Align bilinear補完を行う ...

headはlossを小さく, tailはlossを大きくしたい 重み $w_i $を使ってlossを設計する (二値の場合) $L_{EQL}=-\sum_{j=1}^{C}w_{j}log(\hat{p_{j}}),$ $w_{j}=1-E(r)T_{\lambda}(f_{j})(1-y_{j})$ In this equation, E(r) outputs 1 when r is a foreground region proposal and 0 when it belongs to background. And fj is the frequency of category j in the dataset, which is computed by the image number of the class j over the image number of the entire dataset. And Tλ(x) is a threshold function which outputs 1 when x < λ and 0 otherwise. λ is utilized to distinguish tail categories from all other categories and Tail Ratio (T R) is used as the criterion to set the value of it TRを元に $\lambda$ を ...

輝度勾配を計算(矢印) ノイズを軽減するために中心に対してガウス分布かける 勾配の方向を8方向に量子化 → 8ベクトル B個のブロックがあれば, 全ブロック分concatして, 8Bベクトルが得られる 位置合わせなどに用いる / Panograpy ...