post
Reformer
· ☕ 1 min read
Attentionの計算量をO(NlogN)に 従来のTransformerだと内積計算がネック 類似度を計算しさえすれば良い ベクトルを回転させてバケツにブチこむ バケツごとに処理 バケツ内は互いに近いベクトルのはず https://gyazo.com/9a2bf1939cfd7fd3bea5864b9664eed2 Reversible Residual layers Transformerを多層化するとそれだけの途中の状態を保存する必用がありますが、Reformerでし ...


SwinTransformer
· ☕ 2 min read
認識する対象は画像中で様々な大きさを取る → パッチは対象物体をぶつ切りにする可能性があるのでまずい 画像の解像度が高くなると計算量が膨大になる SwinTransformerの解決策 pooling-likeに, 画像の縦横を小さくしていく 局所的なattentionを取る Swin Transformer Block ほとんどTransformerと同じ 違うのはShif ...


MetaFormer・PoolFormer
· ☕ 1 min read
MetaFormer is Actually What You Need for Vision MetaFormerはモデルを抽象化したもの 重要なのはToken mixing であるという主張 AttentionやMLP-mixerはtokenをごちゃまぜにしてる 例えばMLP なら, 全結合によってごちゃごちゃになる Attentionではなく, Poolingでもいいんじゃね? → PoolFormer https://twitter.com/sei_shinagawa/status/1472115254171947009 @sei_shinagawa MetaFormerの論文でも表6 ...

MLP-Mixer
· ☕ 1 min read
パッチとチャンネルの次元を入れ替えてMLPを行う ViTっぽく画像を分割して入力 Attentionも畳み込みもない 画像をP×Pのパッチに分割し、それぞれベクトルにEmbeddingする。 1.で取得したベクトル達を複数回Mixer Layer(token-mixing + cnannel-mixing)で処理する。 MixerLayerで処理されたベクトルをクラス ...


What Does BERT Learn about the Structure of Language?
· ☕ 1 min read
BERT の各層はそれぞれ異なる言語学的情報を捉えている 中間層の表現は転移学習に用いるには有用 後半に行くにつれてより高次元の意味的な情報を捉えている Sentence BERT → SBERT-WK https://aclanthology.org/P19-1356/ ...

Multios(zsh)
· ☕ 1 min read
Multios https://zsh.sourceforge.io/Doc/Release/Redirection.html#Multios If the user tries to open a file descriptor for writing more than once, the shell opens the file descriptor as a pipe to a process that copies its input to all the specified outputs, similar to tee, provided the MULTIOS option is set, as it is by default. Thus: date >foo >bar writes the date to two files, named ‘foo’ and ‘bar’. Note that a pipe is an implicit redirection; thus date >foo | cat writes the date to the file ‘foo’, and also pipes it to cat. bashで「ls > test | cat」をしても何も表示されない 一方でzshでは「ls > test | cat」でlsの標準出力が表 ...

current directory
· ☕ 1 min read
shellの勉強で気がついたのだが, どのプロセスもshellを経由することなくcurrent directoryを認識してる ls, pwdはshellで実行するもんだから, shellを経由してるみたいに見えるけど, よく考えたらそんなことしなくて良い current directoryはkernelが管理している プロセスが呼ばれるたびにプロセス ...