論文について
· ☕ 1 min read
https://iis-lab.org/misc/paperreading/ ...
MetaFormer・PoolFormer
· ☕ 1 min read
MetaFormer is Actually What You Need for Vision MetaFormerはモデルを抽象化したもの 重要なのはToken mixing であるという主張 AttentionやMLP-mixerはtokenをごちゃまぜにしてる 例えばMLP なら, 全結合によってごちゃごちゃになる Attentionではなく, Poolingでもいいんじゃね？ → PoolFormer https://twitter.com/sei_shinagawa/status/1472115254171947009 @sei_shinagawa MetaFormerの論文でも表6 ...
MLP-Mixer
· ☕ 1 min read
パッチとチャンネルの次元を入れ替えてMLPを行う ViTっぽく画像を分割して入力 Attentionも畳み込みもない 画像をP×Pのパッチに分割し、それぞれベクトルにEmbeddingする。 1.で取得したベクトル達を複数回Mixer Layer(token-mixing + cnannel-mixing)で処理する。 MixerLayerで処理されたベクトルをクラス ...
What Does BERT Learn about the Structure of Language?
· ☕ 1 min read
BERT の各層はそれぞれ異なる言語学的情報を捉えている 中間層の表現は転移学習に用いるには有用 後半に行くにつれてより高次元の意味的な情報を捉えている Sentence BERT → SBERT-WK https://aclanthology.org/P19-1356/ ...
対照学習
· ☕ 0 min read
...
自己教師あり学習
· ☕ 0 min read
...
UNITER
· ☕ 0 min read
...
Multios(zsh)
· ☕ 1 min read
Multios https://zsh.sourceforge.io/Doc/Release/Redirection.html#Multios If the user tries to open a file descriptor for writing more than once, the shell opens the file descriptor as a pipe to a process that copies its input to all the specified outputs, similar to tee, provided the MULTIOS option is set, as it is by default. Thus: date >foo >bar writes the date to two files, named ‘foo’ and ‘bar’. Note that a pipe is an implicit redirection; thus date >foo | cat writes the date to the file ‘foo’, and also pipes it to cat. bashで「ls > test | cat」をしても何も表示されない 一方でzshでは「ls > test | cat」でlsの標準出力が表 ...
Nadaraya-Watson
· ☕ 0 min read
...
Attention Branch Network
· ☕ 0 min read
...
current directory
· ☕ 1 min read
shellの勉強で気がついたのだが, どのプロセスもshellを経由することなくcurrent directoryを認識してる ls, pwdはshellで実行するもんだから, shellを経由してるみたいに見えるけど, よく考えたらそんなことしなくて良い current directoryはkernelが管理している プロセスが呼ばれるたびにプロセス ...
REPL
· ☕ 1 min read
Read-Eval-Print-Loop ...
Poor Man’s BERT
· ☕ 0 min read
...