クラス間の決定境界付近で, 各クラスの尤度の変化を滑らかにすると言われている In Manifold Mixup: Better Representations by Interpolating Hidden States ...

$(\mathbf{A}+\mathbf{B}\mathbf{C}\mathbf{D})^{-1} = \mathbf{A}^{-1} - \mathbf{A}^{-1}\mathbf{B}(\mathbf{C}^{-1}+\mathbf{D}\mathbf{A}^{-1}\mathbf{B})^{-1}\mathbf{D}\mathbf{A}^{-1}$ が成り立つ. 左辺を計算するより右辺を計算したほうが効率的なことがあるので便利 ...

サーベイ→ https://arxiv.org/abs/2009.06732 Fixed Patterns Blockwise Patterns シーケンスを局所的なサイズにクロップ Strided Patterns ストライドで計算 Compressed Patterns poolingなどでダウンサンプリング Combination of Patterns Learnable Patterns ReformerやRouting Transformer など 重要度が高いもののみ使用 Memory Set Transformerなど Low-Rank Methods Kernels Recurrence ...

シグモイド関数よりも，高速で収束性能の良い，ReLU型関数による活性化． Dropout（活性値のランダムな0化）による，モデルの正則化効果． RNN向け正則化手法の Zoneout のような「入力へランダムに1を掛けることによる正則化」の効果． アイデア [* 決定論的なReLUを確率論的な「0 or x 選択」に差し替える] ⇒ ランダム正則化 入力 $x$ ...

RANSAC(RANdom SAmple Consensus) → 外れ値を含むデータから、外れ値の影響を除外して数学モデルのパラメータを学習する手法。 Method 適当にサンプリングしてきたサンプル点だけで回帰を行う 回帰された関数 $f$ を全サンプル点で評価する (SVM のマージンみたいに) 一番評価の高い関数 $f$ を最終的に採用する https://gyazo.com/d6d40b0d117f16724f69dcc04da868a8 https://en.wikipedia.org/wiki/Random_sample_consensus ...

Feature Pyramid Networks とは Feature Pyramid Networks (FPN) は，前段のボトムアップなCNNの後段に，deepな層とshallowな層をトップダウンに接続した上で，更に各スケール階層同士をスキップ接続でつないで，砂時計型Encoder-Decoderを構成するの特徴集約のCNNバックボーンを拡張する構造である．FAIRの物体検出が得意な有名チームから提案されたこ ...

各要素 $s_{i,j}$ について, 状態 $(i,j)$ = ノード $(i,j)$ と思えばOK ...

正方行列 すべての行和とすべての列和が1 行列の全成分が0以上 こいつを確率推移行列とするような確率推移は全要素が均一な状態に収束 ...

https://ananas1845.hatenablog.com/entry/2019/12/22/022405 ...

はじめに モデルを取っ替えるだけが"“研究"“なら, 研究はただの博打に過ぎない 重要なのは分析と評価である しかし, わかりやすい分析だけでは研究にならない(気がする) したがって, まずは分析手法を徹底的にカテゴライズする必要がある できればこれらのメトリクスを常に表示できるようにしたい ...

フーリエの場合は無限に続く正弦波を元に波形を復元する 一方, ウェーブレットの場合は, ウェーブレットと呼ばれる波の断片を寄せ集めて波形を復元する したがって, ウェーブレットの場合は当該箇所を探しに行かなくてはならない だが, これが逆にメリットであり, 時系列情報を保持したまま周波数領域に持っていくようなことができる 例えば下のよう ...

Learning to Rank 写真群から動画を復元するイメージかな？ ...

地球と地図の関係に近い 地球は多数の地図によって分割できるが, 重なりが生じたり, 膨らみが生じたりする 同様に, 局所的なユークリッド空間を至るところから抽出できるものが多様体 ...