- Positional Encoding
- 低周波成分である $(x,y,z,\theta,\phi)$から高周波成分である $(R,G,B,D)$を復元するため, 以下に示すPositional Encodingを通したあとにMLPに入力
$$\gamma(t) = (\sin(2^0t\pi), \cos(2^0t\pi), \cdots, \sin(2^Lt\pi), \cos(2^Lt\pi))$$
-
この機構をNTKによって実験した論文→ Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains
-
このPositional Encodingはフーリエ特徴量とも呼ばれるらしい (要出典)
-
TransformerにおけるPEとは用途が違うということを論文中では強調しているので注意
