JavaScriptを有効にしてください

LambdaNetwork

 ·  ☕ 1 min read
  • MSAと同様, d方向に分割して, 並列処理

  • 行列計算に関しては torchのテンソル積 を参照

  • Linear Attention

    • LambdaNetsはContentとPositionの2つを計算する
    • Contentのみを出力とすれば, Linear Attentionと同等になる → Efficient Transformer



共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web