【論文メモ】SmeLU
· ☕ 1 min read
ReLUの原点での急な変化を, 2次関数で補完することでスムーズにした活性化関数 SmeLU (Smooth ReLU)を提案 リコメンデーションシステムにおいては, 再現性の低さは致命的となる ReLU は勾配がジャンプするので(sudden jump), 損失平面に局所領域ができてしまう そのため, 遷移領域が狭まる 遷移領域が狭まってしまうと局所的な遷移しかしないので, モデ ...
Capsule Neural Network
· ☕ 1 min read
背景: pooling処理によって, 特徴間の相対的な関係性が学習しににくなっている スカラではなくベクトルですべて処理する https://qiita.com/motokimura/items/cae9defed10cb5efeb62 ...
ReLUは如何に関数を近似するか？
· ☕ 2 min read
#* 関数近似 NNは基本的に関数近似器 活性化関数があることで非線形なものも近似することができる 活性化関数がなければ, ただの線形変換にしかならない ＋ 層を重ねる意味がない ReLUはほとんど線形関数と変わらないけど, どのように関数を近似するのか？ 大前提 : ReLUは折りたたみを表現できる なので, カクカクで任意の関数を近似できる $$f(x) = ...
tqdm
· ☕ 1 min read
tqdmのプログレスバーはstderr出力 teeで出力したいなら, 出力先を変える ...
LambdaNetwork
· ☕ 1 min read
MSAと同様, d方向に分割して, 並列処理 行列計算に関しては torchのテンソル積 を参照 Linear Attention LambdaNetsはContentとPositionの２つを計算する Contentのみを出力とすれば, Linear Attentionと同等になる → Efficient Transformer ...
torchのテンソル積
· ☕ 1 min read
三次元 $\times $三次元の行列 １つ目をバッチサイズとして, バッチ単位で行列積 torch.bmm 4次元 $\times $3次元の行列 (j×1×n×m) と (kxm×p)の積は(j,k,n,p)となる バッチなど、行列以外の次元は、ブロードキャストされる。そのため、行列以外の次元はブロードキャストできるものでなければならない。例えば、tensor1が(j×1×n× ...
torch.bmm
· ☕ 1 min read
バッチサイズ単位で行列積 @も同様 https://pytorch.org/docs/stable/generated/torch.bmm.html#torch.bmm ...
【論文メモ】ConvNext
· ☕ 1 min read
ResNetを現代風に DepthWiseにしたり (PointWise・Depthwise) カーネルサイズ変えたり bottleneck内のレイヤーの順番を変えたり BNからLNにしたり 地味に実装でtimmつかてますねん https://github.com/facebookresearch/ConvNeXt/blob/d1fa8f6fef0a165b27399986cc2bdacc92777e40/models/convnext.py ...
Resnet
· ☕ 1 min read
bottleneck 1x1の畳み込みでチャネル数を減らす https://cvml-expertguide.net/terms/dl/cnn-backbone/resnet/ ...
【論文メモ】DeepNet
· ☕ 2 min read
モデル更新量を見る モデル更新後, 出力がどの程度変化したか 具体的には、まず、18レイヤーの通常の Post-LN トランスフォーマーを訓練させた場合、訓練が不安定であり、検証セットの損失関数の値（ロス）が収束しないことを示しています。このとき、「モデル更新量 (model update)」、すなわち、初期化時に比べて、モデルの更新後に、出力の値がどの ...
