noteのバックアップを取る
· ☕ 1 min read
現段階でそういうのはないらしい ということで作った → noteバックアップ 記事→ noteをバックアップ・エクスポートするWebサービスを作った (画像可・他ブログへの移行可) 「個人ブログ/Qiita/Zenn/Scrapbox/note 使い分け」を書いているときにふと思いついた そのまま勢いで日曜丸一日を潰して作ってしもうた 今 ...
ar5ivのコードを読む
· ☕ 1 min read
https://github.com/dginev/ar5iv 前提: arxivは投稿時, texをアップロードしなければならない ar5iv: 裏でクローラを回して, latexmlをキャッシュしてるだけっぽい 最終的にHTMLに変換されたものをzipで固めてサーバ上で管理 レンダリング時はzipを展開して独自のCSSで書き換えたものを表示 Rust製 ...
【論文メモ】Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation
· ☕ 1 min read
VLN-DUET 概要 localな情報とグラフを用いたglobalな情報の両方を統合してactionを決定する actionが決定されたら, Graphを動的に構築して, 移動先までの最短経路をワーシャルフロイドで探索 各ノードには, viewから得られた特徴量を埋め込み表現として保持する 行動 $a^\pi$は各ノードへの尤度によって表現され, ノ ...
【論文メモ】Graph Transformer: A Generalization of Transformer Networks to Graphs
· ☕ 1 min read
任意のGraphに適応可能な, 汎用Transformer Positional Encodingがラプラシアン行列の固有値で表現される ラプラシアン行列の固有値 $\lambda$は頻度・周波数的な側面を持つ → グラフ上のフーリエ変換・畳み込みでは $\lambda$が使われる (いつかまとめる→todo) todo https://arxiv.org/pdf/2012.09699v2.pdf ...
【論文メモ】ViLD: Open-vocabulary Object Detection via Vision and Language Knowledge Distillation
· ☕ 1 min read
Open-Vocabulary (任意テキスト入力)な物体検出モデル classifierがCLIP特徴量になっている ...
【論文メモ】SwinIR: Image Restoration Using Swin Transformer
· ☕ 1 min read
残差接続が大量にあるの面白い 多分だけど, 真っ黒から真っ黒への変換みたいな無意味な変換によって重みの学習を引っ張られたくないので, クソデカ残差を入れているのだと思う (オキモチ) SwinTransformerのおかげでパラメタ数はかなり減っている ...
方策エントロピー
· ☕ 1 min read
探索空間において探索されたことで更新される情報量 情報エントロピー, もしくは方策の対数尤度の期待値と考えればOK $$\displaystyle{H(\pi( \cdot | s_t)) = \sum_{a} {-\pi(a | s)\log\pi(a | s)} = E_{a\sim\pi} \left[ {-\log\pi(a | s)} \right \rbrack}$$ 引用: https://horomary.hatenablog.com/entry/2020/12/20/115439 ...
SAC(Soft-Actor-Critic)
· ☕ 1 min read
Actor-Critic型のSoft-Q学習 Soft-Q学習とは簡単に言うと, 報酬 + 方策エントロピーを目的関数に据える学習手法 SAC(Soft-Actor-Critic)の理論的背景はSoft-Q学習からきており、従来の目的関数に方策エントロピー項を加え、より多様な探索を可能にした手法です。 エントロピー項は正則化の役割 ...
WikipediaのTexをコピペする
· ☕ 1 min read
WikipediaはMathJaxを使っているので(ホントか？), 画像を新規タブで開けばタイトルにtex表記が記述されている なので, 画像を新規タブで開く→ソースコードを表示→titleタグの部分をコピペすればOK 例 $${\displaystyle \langle S\rangle ={s_{k_{1}}^{e_{k_{1}}}s_{k_{2}}^{e_{k_{2}}}\cdots s_{k_{m}}^{e_{k_{m}}}\mid \exists m\in \mathbb {N} ,(k_{1},\ldots ,k_{m})\in \mathbb {N} ^{m},e_{k_{j}}\in \mathbb {N} ,s_{k_{j}}\in S}.}$$ ...
Impact Factor
· ☕ 1 min read
学術雑誌の影響力を測る指標らしい (そんなのあるんだ) 今年の被引用数を過去2年分のPublicationで割る $\displaystyle {\text{IF}}_{y}={\frac {{\text{Citations}}_{y}}{{\text{Publications}}_{y-1}+{\text{Publications}}_{y-2}}}.$ ...
残差接続
· ☕ 1 min read
残差の何がうれしいか？ そのモジュールが特徴量変換器として必要なければスキップすることができる 言い換えれば, 恒等変換が起点となるので, 恒等写像が簡単に実現できる ...