Equalization Loss
· ☕ 1 min read
headはlossを小さく, tailはlossを大きくしたい 重み $w_i $を使ってlossを設計する (二値の場合) $L_{EQL}=-\sum_{j=1}^{C}w_{j}log(\hat{p_{j}}),$ $w_{j}=1-E(r)T_{\lambda}(f_{j})(1-y_{j})$ In this equation, E(r) outputs 1 when r is a foreground region proposal and 0 when it belongs to background. And fj is the frequency of category j in the dataset, which is computed by the image number of the class j over the image number of the entire dataset. And Tλ(x) is a threshold function which outputs 1 when x < λ and 0 otherwise. λ is utilized to distinguish tail categories from all other categories and Tail Ratio (T R) is used as the criterion to set the value of it TRを元に $\lambda$ を ...


【論文メモ】RelTransformer
· ☕ 1 min read
タスクはVRR (Visual Releationship Recognition) 既存手法はGNNなどが多いが, GNNは近傍しか見ておらず, 自分に近いところの関係しか見ていない 例: 野球 野球選手とバットだけを見るよりも, 周りのキャッチャーやピッチャーの情報もコンテキスト情報として有益 着目物体 $n_s $と物体 $n_o$ と, その関係 $r$ のtripletを入力して, encode encodeしたtripletから, ...


SIFT
· ☕ 1 min read
輝度勾配を計算(矢印) ノイズを軽減するために中心に対してガウス分布かける 勾配の方向を8方向に量子化 → 8ベクトル B個のブロックがあれば, 全ブロック分concatして, 8Bベクトルが得られる 位置合わせなどに用いる / Panograpy ...


VRR
· ☕ 0 min read
...


Homography
· ☕ 1 min read
ホモグラフィ行列の推定 これで少なくとも必要条件は求まる $s \begin{bmatrix} x^{’} \ y^{’} \ 1 \end{bmatrix} = H \begin{bmatrix} x \ y \ 1 \end{bmatrix} = \begin{bmatrix} h_{11} & h_{12} & h_{13} \ h_{21} & h_{22} & h_{23} \ h_{31} & h_{32} & h_{33} \end{bmatrix} \begin{bmatrix} x \ y \ 1 \end{bmatrix}$ ...


【論文メモ】Adapt-and-Adjust: Overcoming the Long-Tail Problem of Multilingual Speech Recognition
· ☕ 1 min read
Adapt-and-Adjust (A2), end-to-endの多言語音声認識モデル multilingual language modelをspeach-decoderとする Dual-Adaptersを採用 言語ごとに特徴抽出器を切り替えるイメージ これってほんとに言語ごとに切り替わってるの? Adapterは Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Modelが初出? → と思ったら違った 初出: Learning multiple visual domains with residual adapters ...


【論文メモ】Decoupling Representation and Classifier for Long-Tailed Recognition
· ☕ 1 min read
クラス間の分布が違う=クラス間不均衡による影響についての論文 一般にモデルは「特徴量抽出器」と「クラス分類器」で構成されている クラス間の分布が違う場合, 「特徴量抽出器」と「クラス分類器」のどちらに悪影響か? 答えは「クラス分類器」 特徴量の抽出においては, そこまで悪い影響はないらしい クラス分類器 : 写像された特徴空間において, ...