What Does BERT Learn about the Structure of Language?
· ☕ 1 min read
BERT の各層はそれぞれ異なる言語学的情報を捉えている 中間層の表現は転移学習に用いるには有用 後半に行くにつれてより高次元の意味的な情報を捉えている Sentence BERT → SBERT-WK https://aclanthology.org/P19-1356/ ...
Posts
対照学習
· ☕ 0 min read
...
自己教師あり学習
· ☕ 0 min read
...
UNITER
· ☕ 0 min read
...
Multios(zsh)
· ☕ 1 min read
Multios https://zsh.sourceforge.io/Doc/Release/Redirection.html#Multios If the user tries to open a file descriptor for writing more than once, the shell opens the file descriptor as a pipe to a process that copies its input to all the specified outputs, similar to tee, provided the MULTIOS option is set, as it is by default. Thus: date >foo >bar writes the date to two files, named ‘foo’ and ‘bar’. Note that a pipe is an implicit redirection; thus date >foo | cat writes the date to the file ‘foo’, and also pipes it to cat. bashで「ls > test | cat」をしても何も表示されない 一方でzshでは「ls > test | cat」でlsの標準出力が表 ...
Nadaraya-Watson
· ☕ 0 min read
...
Attention Branch Network
· ☕ 0 min read
...
current directory
· ☕ 1 min read
shellの勉強で気がついたのだが, どのプロセスもshellを経由することなくcurrent directoryを認識してる ls, pwdはshellで実行するもんだから, shellを経由してるみたいに見えるけど, よく考えたらそんなことしなくて良い current directoryはkernelが管理している プロセスが呼ばれるたびにプロセス ...
REPL
· ☕ 1 min read
Read-Eval-Print-Loop ...
Poor Man’s BERT
· ☕ 0 min read
...
Gaussian Mixture Model
· ☕ 1 min read
混合ガウスモデル GMM ...
SCDV
· ☕ 1 min read
文書ベクトルを生成する 文書分類タスク 例えば, wikipediaのページであれば, トピックを意識したベクトルが生成できる word2vecで生成したベクトルをクラスタリング(Gaussian Mixture Model)して, クラスタごとに各ベクトルを修正する ↓ 各クラスタを中心にベクトルが引きつけられている https://gyazo.com/3eb39c40e6ba8fafc1886272245e7857 機械学習 ...
Restricted Boltzmann Machines
· ☕ 0 min read
...