post
機械学習の解釈性
· ☕ 1 min read
特徴量の重要度 重要度を測るには, その特徴量を使えない状態を近似的に作り出せば良い PFI Permutation Feature Importance 特徴量 Xi だけをシャッフルして, シャッフル前と後とで予測結果を比較 ( Xj(j≠i)は固定) 本当に特徴量 Xi が重要なら, シャッフルによって予測結果がブレるはず SHAP SHapley Additive exPlanations 特徴量 Xiがあるときと無いときとで予測結果を比較 ...
時系列予測
· ☕ 1 min read
Statistical and Machine Learning forecasting methods: Concerns and ways forward https://journals.plos.org/plosone/article/file?id=10.1371%2Fjournal.pone.0194889&type=printable ...
AR・MA・ARMA・ARIMA・SARIMA
· ☕ 1 min read
AR Autoregressive Model 自己回帰モデル t-1の観測値と誤差項epsで回帰 AR(1) yt=ϕyt−1+ϵt+μ MA Moving Average 移動平均モデル ARのように観測値メインではなく, 誤差項＝差分をメインに計算する MA(1) yt=ϕϵt−1+ϵt+μ ARMA ARとMAを加算しただけ ARIMA d階差分系列 yt−yt−dをARMAで記述する ARIMA単体でAR・MA・ARMAを表現できる SARIMA ARIMAに加え ...
ARIMA
· ☕ 1 min read
ARIMA: auto regressive integrated moving average 自己回帰移動平均モデル ...
Informer
· ☕ 1 min read
P(key|query)が高いqueryを上位X分だけ取り出してself-attentionを計算 - LogSparse Transformerのようなヒューリスティックな手法から脱却 Self-attention Distilling self-attentionの各層をpoolingでダウンサンプリングして蒸留 ...

Informer
NestJS → Query String(GET)にarray
· ☕ 1 min read
https://github.com/nestjs/swagger/pull/67 array[]=abc&array[]=1234 で {abc,1234}が表現できるらしい これってどこまで標準的なの…? https://stackoverflow.com/questions/6243051/how-to-pass-an-array-within-a-query-string ...
内挿・外挿
· ☕ 1 min read
https://atmarkit.itmedia.co.jp/ait/articles/2008/26/news017.html https://science-log.com/雑記topページ/「外挿」と「内挿」の違い/ https://ja.wikipedia.org/wiki/内挿 ...
Hugoで技術ブログ作った
· ☕ 1 min read
何投稿するの → 勉強したことだったり, 技術的なことだったり ・記事「技術ブログが書ける開発をする」に触発された👀
Linear Attention: Transformers are RNNs
· ☕ 1 min read
RNNの計算量はO(nd^2) / Transformerの計算量はO(n^2d) Attention(Q,K,V)=sortmax(QKTdkey)V Attention(Q,K,V)i=∑j=1nexp⁡(qiTkj)⋅vj∑j=1nexp⁡(qiTkj) O(n^2)の部分をどうにかしたい O(n)に落としたい → Linear Attention とにかく類似度の計算ができれば良いので, 別の類似度計算に置き換えたい simでまとめると sim(q,k)=exp(qTkdkey) Attention(Q,K,V)i=∑j=1nsim(qi,kj)⋅vj∑j=1nsim(qi,kj) q_iとk_jに依存しているので, 乗法に分離できると嬉 ...

©2023, All Rights Reserved