post
Multios(zsh)
· ☕ 1 min read
Multios https://zsh.sourceforge.io/Doc/Release/Redirection.html#Multios If the user tries to open a file descriptor for writing more than once, the shell opens the file descriptor as a pipe to a process that copies its input to all the specified outputs, similar to tee, provided the MULTIOS option is set, as it is by default. Thus: date >foo >bar writes the date to two files, named ‘foo’ and ‘bar’. Note that a pipe is an implicit redirection; thus date >foo | cat writes the date to the file ‘foo’, and also pipes it to cat. bashで「ls > test | cat」をしても何も表示されない 一方でzshでは「ls > test | cat」でlsの標準出力が表 ...

current directory
· ☕ 1 min read
shellの勉強で気がついたのだが, どのプロセスもshellを経由することなくcurrent directoryを認識してる ls, pwdはshellで実行するもんだから, shellを経由してるみたいに見えるけど, よく考えたらそんなことしなくて良い current directoryはkernelが管理している プロセスが呼ばれるたびにプロセス ...

REPL
· ☕ 1 min read
Read-Eval-Print-Loop ...

SCDV
· ☕ 1 min read
文書ベクトルを生成する 文書分類タスク 例えば, wikipediaのページであれば, トピックを意識したベクトルが生成できる word2vecで生成したベクトルをクラスタリング(Gaussian Mixture Model)して, クラスタごとに各ベクトルを修正する ↓ 各クラスタを中心にベクトルが引きつけられている https://gyazo.com/3eb39c40e6ba8fafc1886272245e7857 機械学習 ...

協調フィルダリング
· ☕ 1 min read
https://qiita.com/ogi-iii/items/ebfd77003d2dd18af13a https://qiita.com/ynakayama/items/ceb3f6408231ea3d230c ピアソン相関係数 → データが正規化されていないような状況でユークリッド距離よりも良い結果を得られることが多いとされています。 → なぜなら、ある評価者 A が辛口の評価を、評価者 B が甘口の評価をする傾向があったとします。しかしそれぞれのアイテムに対する評価の差に相関があった場合、これが高い相関係数を示すという特徴があるためで ...

CANINE
· ☕ 1 min read
分かち書きフリーのNLPモデル https://gyazo.com/b528d46973abfaf5596a10d8b36ae12c Transformerベース 入力はASCII ASCIIだとでかすぎるので, hashingによって圧縮 トークンは文字 なので, 事前学習時にただ単にmaskingしてもうまく行かない tokenizeしてsub-wordごとにmasking 日本語での実装例 https://github.com/octanove/shiba 機械学習 https://arxiv.org/abs/2103.06874 ...

Temporal Fusion Transformer
· ☕ 1 min read
Transformerベース 解釈可能性に秀でている Variable Selection とmulti-head attention 時系列予測 機械学習 ...