OOD
· ☕ 1 min read
Out of Distribution todo そもそもOODって何よ どう定義すれば良い？ 例えば, 平行移動はOOD? ...
【論文メモ】Less complexity one-class classification approach using construction error of convolutional image transformation network
· ☕ 1 min read
如何に異常検知を行うか？ 例えば, りんご以外を弾くようなモデルはどのように作れば良いのか 本論文では, AutoEncoder と同じ格好で, りんごだけをすべてLennaに変換するように学習する なので, りんごでない部分が入力された際は変な画像が生成されてしまうことになる ...
【論文メモ】IA-RED2
· ☕ 1 min read
AdaViTから引用されている パッチを途中でdropさせることができる めちゃくちゃ速い 強化学習っぽく学習 ...
Stochastic Depth
· ☕ 1 min read
SwinTransformerでは有効活用されてるらしい DeiTなどにも Dropoutがネットワークの幅を調整するのに対して, Stochastic Depth ではネットワークの深さを調節する 層のとても深いResNetといったモデルはBackpropagation時の勾配消失や，各パラメータが有効に学習しない，学習時間の増大などが問題点として上げら ...
【論文メモ】MixFormer
· ☕ 1 min read
SwinTransformer の Local-window と, DwConv (PointWise・Depthwise) を並列に接続 なぜ？ ...
MobileFormer
· ☕ 1 min read
TransformerとMobileNetを並列に接続 これって, MixFormer と同じ理由でうまく行ってる？ → MixFormer参照 ...
【論文メモ】CycleMLP
· ☕ 1 min read
従来のMLPモデルの問題点を克服 (Channel FC:性能が不十分、Spatial FC:計算量が多い) 任意の画像サイズに対応可能なCycle FCを提案 SwinTransformerよりも受容野が広いらしい ...
【論文メモ】Pix2seq
· ☕ 1 min read
入力 : 画像 出力 : $(y_{\text{min}},x_{\text{min}},y_{\text{max}},x_{\text{max}},c)$ 普通のMLMと同じ感じで, 学習. $$\text{maximize}\sum_{j=1}^{L}\bm{w}_{j}\log P(\tilde{\bm{y}}_{j}|{\bm{x}},{\bm {y}}_{1:j-1})~{},$$ ...
【論文メモ】ROAR
· ☕ 1 min read
何らかの基準でマスクして, 説明指標を評価 マスクした画像がOODにならないように, マスクした画像を使って更に学習 マスク方法 → 比較対象は Random / Sobel 比較されている手法は grad / Guided Backprop / Integrated Gradients / SmoothGrad / SG-SQ / VarGrad 最も良い結果が得られたのはSG-SQとVarGrad ...
SG-SQ
· ☕ 1 min read
SmoothGrad の $\sum$ の中を二乗したもの ...
Mask RCNN
· ☕ 1 min read
roi をencodeしたものをfeature map に投影する際, shapeが合わないので工夫する必要がある → ROI pooling と ROI Align (Mask RCNNはコッチ) mask-branchでmaskを生成 各画素ごとにクラス確率を計算 ROI pooling ROI Align bilinear補完を行う ...
【論文メモ】FullGrad
· ☕ 1 min read
Saliency Map は Weak dependenceとCompletenessを満たす必要がある Weak dependence Saliency Map $S(x)$ と入力 $x$ に弱い依存関係がある状態 ここでは, $x$ がどの集合に属しているかで $f(x)$ が定まる状態と定義 Completeness Saliency Map $S(x)$ と入力 $x$ から元のモデル $f(x)$が復元できる状態 例えば, バイアス $\boldsymbol{b}$を使わずに生成した $S(x)$では復元でき ...
