JavaScriptを有効にしてください

CLS

 ·  ☕ 1 min read
  • 普通のtransformerモデルだとCLSをそのままMLPに通して分類器を構築する

    • 本当にそれで良いの??
  • BERT系だと

    • CLSを使うパターン
      • BERT / ViT の画像分類タスク
    • 後続のトークンの先頭と最後だけ使うパターン
      • BERTのQAタスク
    • Global Average Poolingで全トークンを圧縮するパターン
      • BeiT の画像分類
  • がある

https://www.ai-shift.co.jp/techblog/2145

共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web