Posts

【論文メモ】Transformer Interpretability Beyond Attention Visualization

📅 2022/6/8 · ☕ 1 min read

LRPをTransformerにも使用できるようにしたもの LRPでは行列和や行列積に対応できない → いい感じに代替 ...

【論文メモ】Transformer Interpretability Beyond Attention Visualization

【論文メモ】This Looks Like That: Deep Learning for Interpretable Image Recognition

📅 2022/6/8 · ☕ 1 min read

割と学習が難しいらしい？ Clst: 潜在変数をパッチ単位で分割して, クラスタリング Sep: クラスタ同士を遠ざけるように学習 ...

#論文

【論文メモ】This Looks Like That: Deep Learning for Interpretable Image Recognition

【論文メモ】Affinity loss

📅 2022/6/8 · ☕ 1 min read

ソフトマックスにクラスタリングの要素を持ち込んで、不均衡を是正するアルゴリズム. サポートベクターマシンのようなマージン最大化問題を考える ...

ランク学習

📅 2022/6/8 · ☕ 1 min read

Learning to Rank 写真群から動画を復元するイメージかな？ ...

#post

多様体

📅 2022/6/8 · ☕ 1 min read

地球と地図の関係に近い地球は多数の地図によって分割できるが, 重なりが生じたり, 膨らみが生じたりする同様に, 局所的なユークリッド空間を至るところから抽出できるものが多様体 ...

#post

Poincaré Embeddings

📅 2022/6/8 · ☕ 1 min read

そのなかでも, Poincare Ballという双曲空間に埋め込めば階層構造等も表現できるから最高！というお話双曲空間は木の連続値versionであり, 木は双曲空間の離散versionらしいもちろん, 木を埋め込むことができる最適化がやや特殊結局リーマン多様体の話なので, 普通のSGDではなく, RSGD (Riemann SGD)を用いる必要があるそのため, おそら ...

#post

SNEにスチューデントのt分布を用いたまず, 元の次元で $x_i$と $x_j$ の距離を確率分布に落とし込む → $p_{j|i}$ すなわち, $x_j$が $x_i$を中心に選ばれるというイメージどこが距離として強く反応するの？みたいな感じ (図逆やな…) 同様に, 削減後の次元でも $x_i$と $x_j$ の距離を確率分布に落とし込む → $q_{j|i}$ 最後に $p_{j ...

#post

スチューデントのt分布

📅 2022/6/8 · ☕ 1 min read

正規分布よりも裾野が高いのが特徴 SNEでは正規分布が用いられたが, t-SNEでは自由度1のスチューデントのtが使われたこれにより, 中距離のデータも適切な構造を保ちつつ次元を削減することができる https://gyazo.com/89e1d123199b670bcb3d66bfe62e76d7 ...

凡人理系学部生の我々は何をすべきなのか

📅 2022/6/7 · ☕ 8 min read

はじめにプログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つある ─ それは, プログラムにおいては疎結合が好まれ, 小説においては密結合が好まれるという点である. すなわち, 小説において肝要なのは「誤配」や意図せぬ「混線」であ ...

【論文メモ】Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

📅 2022/6/7 · ☕ 1 min read

事後的な説明性は必ず近似を含むので, モデルの説明にはならないなので近似を含ませずに直接解釈可能なモデルを作らねばならないステークホルダーは解釈可能性よりも, とりあえず「説明」がほしいということがよくあるなので, 決定木ベースであったり, スコアリングベースの手法がビジネスで使われてしまうまたステークホルダーは説明性を出力し ...