world_size
· ☕ 1 min read
world_size プロセス数 rank どのプロセスなのかを指定 ...
post
権威DNSサーバ
· ☕ 1 min read
自分の担当するドメインについて名前解決してくれるDNSサーバ 一方で, 他のDNSサーバなどを辿って名前解決してくれるやつはキャッシュDNSサーバ とも呼ばれる herokuとかでサブドメインのURL持てたりするけど, 自前でDNSサーバを設定してるって感じなのかな？ ...
多次元正規分布でGibbs Sampling
· ☕ 7 min read
はじめに 先日, 研究室の勉強会で この本 のGibbs Samplingの章(9.3.4)を担当しました. 実際にpythonで実装してみたりしたので, せっかくですから備忘録程度にまとめてみました. なお, 数弱によるガバガバ数学が展開されておりますのでご了承ください. Markov連鎖 Monte Carlo法 ベクトル
共変量シフト
· ☕ 1 min read
BatchNormによって減らすことができる BNは学習対象のパラメタを持つので注意 共変量シフトを抑えながら, レイヤの表現量を維持するためにパラメタ
Layer normalization
· ☕ 1 min read
Post-LN 通常のTransformerだとこっち 性能が高い 不安定 Pre-LN (相対的に)性能は低い 安定 DeepNet DeepNetでは, DeepNormという手法を用いることで性能・安定性ともに向上させる これによって, 層数をバカでか数にしても, 安定して学習させることができる ...
重みの初期化
· ☕ 1 min read
nn.init.hogehoge() で初期化できる 例 nn.init.xavier_uniform_(ln.weight) # Xavierの初期値 PyTorchの場合, デフォルトはHe ...
Parallel WaveGAN
· ☕ 1 min read
Wave Net STFT ...
[Heroku] Dockerコンテナ上のpsqlにpg:pullする
· ☕ 2 min read
Herokuでは, pg:pullを通してリモートからローカルへとテーブルを転送(pull)できるんですが, Dockerコンテナ上のpsqlへのpullに手こずったのでメモ.
機械学習の解釈性
· ☕ 1 min read
特徴量の重要度 重要度を測るには, その特徴量を使えない状態を近似的に作り出せば良い PFI Permutation Feature Importance 特徴量
操作変数法
· ☕ 0 min read
...
Neural architecture search
· ☕ 1 min read
Auto ML ...
時系列予測
· ☕ 1 min read
Statistical and Machine Learning forecasting methods: Concerns and ways forward https://journals.plos.org/plosone/article/file?id=10.1371%2Fjournal.pone.0194889&type=printable ...