todo ...

BERT, Sentence BERT は各層における単語の分散に着目していない 「各単語の各層での埋め込み表現がどの程度の分散を持つか」を調べる 以後, 分散＝**各層でのばらつき **なので注意 ↓ can, wouldのような意味の少ない単語だと分散が小さいが, 意味が多い単語だと分散が大きい この問題に対応するために, 各層に対して重み付け和を取ったものを新たな埋め込み ...

...

アインシュタインの縮約記法 テンソル積を書くと大量の $\Sigma$が出てきてうざい なので, $\Sigma$を省略しよう, というのが事の始まり $\sum_{j} a_{i,j}b_{j,k}$ なら ij,jk → ik プログラム的に考えれば, 単純にfor を外しただけ 例えば ドット積 z[i,j](https://scrapbox.io/yuwd/i%2Cj) += x[i,j](https://scrapbox.io/yuwd/i%2Cj) * y[i,j](https://scrapbox.io/yuwd/i%2Cj) np.einsum("ij,ij->ij", x, y) 内積 z[j,k](https://scrapbox.io/yuwd/j%2Ck) += x[j,i](https://scrapbox.io/yuwd/j%2Ci) * y[i,k](https://scrapbox.io/yuwd/i%2Ck) np.einsum("ji,ik->jk", x, y) 軸の入れ替えなどでも使える y = torch.einsum('nchw->nhwc', y).detach().cpu() 実際は遅いからやめたほうが良さそう ...

world_size プロセス数 rank どのプロセスなのかを指定 ...

自分の担当するドメインについて名前解決してくれるDNSサーバ 一方で, 他のDNSサーバなどを辿って名前解決してくれるやつはキャッシュDNSサーバ とも呼ばれる herokuとかでサブドメインのURL持てたりするけど, 自前でDNSサーバを設定してるって感じなのかな？ ...

はじめに 先日, 研究室の勉強会で この本 のGibbs Samplingの章(9.3.4)を担当しました. 実際にpythonで実装してみたりしたので, せっかくですから備忘録程度にまとめてみました. なお, 数弱によるガバガバ数学が展開されておりますのでご了承ください. Markov連鎖 Monte Carlo法 ベクトル $\boldsymbol{x}$ が分布 $p(\boldsymbol{x})$ に従う際, 期待値 ...

BatchNormによって減らすことができる BNは学習対象のパラメタを持つので注意 共変量シフトを抑えながら, レイヤの表現量を維持するためにパラメタ $\gamma, \beta$ が使われる https://gyazo.com/b54205f667854ac7219c5f7eb002c761 後で読む https://zenn.dev/takoroy/scraps/b26c76a9f94069 ...

Post-LN 通常のTransformerだとこっち 性能が高い 不安定 Pre-LN (相対的に)性能は低い 安定 DeepNet DeepNetでは, DeepNormという手法を用いることで性能・安定性ともに向上させる これによって, 層数をバカでか数にしても, 安定して学習させることができる ...

nn.init.hogehoge() で初期化できる 例 nn.init.xavier_uniform_(ln.weight) # Xavierの初期値 PyTorchの場合, デフォルトはHe ...

２つの時系列データ $\boldsymbol{s}, \boldsymbol{t}$の類似度を計算 $\boldsymbol{s}, \boldsymbol{t}$をそれぞれ軸としたグリッドに対して, 最小のパスをDTWとする ...

Wave Net STFT ...

Herokuでは, pg:pullを通してリモートからローカルへとテーブルを転送(pull)できるんですが, Dockerコンテナ上のpsqlへのpullに手こずったのでメモ.