Sparse Attention
· ☕ 1 min read
https://data-analytics.fun/2021/02/01/understanding-sparse-transformer/
todo ...
post
DALL-E
· ☕ 1 min read
https://data-analytics.fun/2021/05/31/understanding-openai-dalle/
todo ...
ReLU
· ☕ 1 min read
派生 GeLU Swish Mish ...
Capsule Neural Network
· ☕ 1 min read
背景: pooling処理によって, 特徴間の相対的な関係性が学習しににくなっている スカラではなくベクトルですべて処理する https://qiita.com/motokimura/items/cae9defed10cb5efeb62 ...
ReLUは如何に関数を近似するか？
· ☕ 2 min read
#* 関数近似 NNは基本的に関数近似器 活性化関数があることで非線形なものも近似することができる 活性化関数がなければ, ただの線形変換にしかならない ＋ 層を重ねる意味がない ReLUはほとんど線形関数と変わらないけど, どのように関数を近似するのか？ 大前提 : ReLUは折りたたみを表現できる なので, カクカクで任意の関数を近似できる $$f(x) = ...
tqdm
· ☕ 1 min read
tqdmのプログレスバーはstderr出力 teeで出力したいなら, 出力先を変える ...
LambdaNetwork
· ☕ 1 min read
MSAと同様, d方向に分割して, 並列処理 行列計算に関しては torchのテンソル積 を参照 Linear Attention LambdaNetsはContentとPositionの２つを計算する Contentのみを出力とすれば, Linear Attentionと同等になる → Efficient Transformer ...
torchのテンソル積
· ☕ 1 min read
三次元 $\times $三次元の行列 １つ目をバッチサイズとして, バッチ単位で行列積 torch.bmm 4次元 $\times $3次元の行列 (j×1×n×m) と (kxm×p)の積は(j,k,n,p)となる バッチなど、行列以外の次元は、ブロードキャストされる。そのため、行列以外の次元はブロードキャストできるものでなければならない。例えば、tensor1が(j×1×n× ...
torch.bmm
· ☕ 1 min read
バッチサイズ単位で行列積 @も同様 https://pytorch.org/docs/stable/generated/torch.bmm.html#torch.bmm ...
