地球と地図の関係に近い 地球は多数の地図によって分割できるが, 重なりが生じたり, 膨らみが生じたりする 同様に, 局所的なユークリッド空間を至るところから抽出できるものが多様体 ...

...

そのなかでも, Poincare Ballという双曲空間に埋め込めば階層構造等も表現できるから最高！というお話 双曲空間は木の連続値versionであり, 木は双曲空間の離散versionらしい もちろん, 木を埋め込むことができる 最適化がやや特殊 結局リーマン多様体の話なので, 普通のSGDではなく, RSGD (Riemann SGD)を用いる必要がある そのため, おそら ...

SNEにスチューデントのt分布を用いた まず, 元の次元で $x_i$と $x_j$ の距離を確率分布に落とし込む → $p_{j|i}$ すなわち, $x_j$が $x_i$を中心に選ばれるというイメージ どこが距離として強く反応するの？みたいな感じ (図逆やな…) 同様に, 削減後の次元でも $x_i$と $x_j$ の距離を確率分布に落とし込む → $q_{j|i}$ 最後に $p_{j ...

正規分布よりも裾野が高いのが特徴 SNEでは正規分布が用いられたが, t-SNEでは自由度1のスチューデントのtが使われた これにより, 中距離のデータも適切な構造を保ちつつ次元を削減することができる https://gyazo.com/89e1d123199b670bcb3d66bfe62e76d7 ...

はじめに プログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つある ─ それは, プログラムにおいては疎結合が好まれ, 小説においては密結合が好まれるという点である. すなわち, 小説において肝要なのは「誤配」や意図せぬ「混線」であ ...

事後的な説明性は必ず近似を含むので, モデルの説明にはならない なので近似を含ませずに直接解釈可能なモデルを作らねばならない ステークホルダーは解釈可能性よりも, とりあえず「説明」がほしいということがよくある なので, 決定木ベースであったり, スコアリングベースの手法がビジネスで使われてしまう またステークホルダーは説明性を出力し ...

Out of Distribution todo そもそもOODって何よ どう定義すれば良い？ 例えば, 平行移動はOOD? ...

如何に異常検知を行うか？ 例えば, りんご以外を弾くようなモデルはどのように作れば良いのか 本論文では, AutoEncoder と同じ格好で, りんごだけをすべてLennaに変換するように学習する なので, りんごでない部分が入力された際は変な画像が生成されてしまうことになる ...

AdaViTから引用されている パッチを途中でdropさせることができる めちゃくちゃ速い 強化学習っぽく学習 ...

SwinTransformerでは有効活用されてるらしい DeiTなどにも Dropoutがネットワークの幅を調整するのに対して, Stochastic Depth ではネットワークの深さを調節する 層のとても深いResNetといったモデルはBackpropagation時の勾配消失や，各パラメータが有効に学習しない，学習時間の増大などが問題点として上げら ...

SwinTransformer の Local-window と, DwConv (PointWise・Depthwise) を並列に接続 なぜ？ ...

TransformerとMobileNetを並列に接続 これって, MixFormer と同じ理由でうまく行ってる？ → MixFormer参照 ...