JavaScriptを有効にしてください

SBERT-WK

 ·  ☕ 1 min read
  • BERT, Sentence BERT は各層における単語の分散に着目していない
    • 「各単語の各層での埋め込み表現がどの程度の分散を持つか」を調べる
      • 以後, 分散=**各層でのばらつき **なので注意
    • ↓ can, wouldのような意味の少ない単語だと分散が小さいが, 意味が多い単語だと分散が大きい
      • この問題に対応するために, 各層に対して重み付け和を取ったものを新たな埋め込み表現とする


  • Inverse Alignment Measure
    • 幅mのウィンドウを用意し,単語wに対する各層のベクトルvのコサイン類似度をpair-wiseで計算し, 平均を取る
    • その値をvに重み付けして総和を取ったものを新たな埋め込み表現とする
共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web