特徴量の重要度 重要度を測るには, その特徴量を使えない状態を近似的に作り出せば良い PFI Permutation Feature Importance 特徴量 $X_i$ だけをシャッフルして, シャッフル前と後とで予測結果を比較 ( $X_j (j \neq i)$は固定) 本当に特徴量 $X_i$ が重要なら, シャッフルによって予測結果がブレるはず SHAP SHapley Additive exPlanations 特徴量 $X_i$があるときと無いときとで予測結果を比較 ...

...

Auto ML ...

Statistical and Machine Learning forecasting methods: Concerns and ways forward https://journals.plos.org/plosone/article/file?id=10.1371%2Fjournal.pone.0194889&type=printable ...

AR Autoregressive Model 自己回帰モデル t-1の観測値と誤差項epsで回帰 AR(1) $$y_t = \phi y_{t-1} + \epsilon_t + \mu$$ MA Moving Average 移動平均モデル ARのように観測値メインではなく, 誤差項＝差分をメインに計算する MA(1) $$y_t = \phi \epsilon_{t-1} + \epsilon_t + \mu$$ ARMA ARとMAを加算しただけ ARIMA d階差分系列 $y_t - y_{t-d}$をARMAで記述する ARIMA単体でAR・MA・ARMAを表現できる SARIMA ARIMAに加え ...

ARIMA: auto regressive integrated moving average 自己回帰移動平均モデル ...

$P(key|query)$が高いqueryを上位X分だけ取り出してself-attentionを計算 - LogSparse Transformerのようなヒューリスティックな手法から脱却 Self-attention Distilling self-attentionの各層をpoolingでダウンサンプリングして蒸留 ...

https://github.com/nestjs/swagger/pull/67 array[]=abc&array[]=1234 で {abc,1234}が表現できるらしい これってどこまで標準的なの…? https://stackoverflow.com/questions/6243051/how-to-pass-an-array-within-a-query-string ...

https://atmarkit.itmedia.co.jp/ait/articles/2008/26/news017.html https://science-log.com/雑記topページ/「外挿」と「内挿」の違い/ https://ja.wikipedia.org/wiki/内挿 ...

...

...

何投稿するの → 勉強したことだったり, 技術的なことだったり ・記事「技術ブログが書ける開発をする」に触発された👀

RNNの計算量はO(nd^2) / Transformerの計算量はO(n^2d) $$Attention(Q, K, V) = sortmax(\frac{QK^T}{\sqrt{d_{key}}})V$$ $$Attention(Q, K, V)_i = \frac{\sum_{j=1}^n\exp(q_i^Tk_j)\cdot v_j}{\sum_{j=1}^n\exp(q_i^Tk_j)}$$ O(n^2)の部分をどうにかしたい O(n)に落としたい → Linear Attention とにかく類似度の計算ができれば良いので, 別の類似度計算に置き換えたい simでまとめると $$sim(q, k)=exp(\frac{q^Tk}{\sqrt{d_{key}}})$$ $$Attention(Q, K, V)_i = \frac{\sum_{j=1}^nsim(q_i, k_j)\cdot v_j}{\sum_{j=1}^nsim(q_i, k_j)}$$ q_iとk_jに依存しているので, 乗法に分離できると嬉 ...