-
Fixed Patterns
- Blockwise Patterns
- シーケンスを局所的なサイズにクロップ
- Strided Patterns
- ストライドで計算
- Compressed Patterns
- poolingなどでダウンサンプリング
- Blockwise Patterns
-
Combination of Patterns
-
Learnable Patterns
- ReformerやRouting Transformer など
- 重要度が高いもののみ使用
-
Memory
-
Low-Rank Methods
-
Kernels
-
Recurrence
JavaScriptを有効にしてください
Efficient Transformer
· ☕ 1 min read