【論文メモ】SPICE: Semantic Propositional Image Caption Evaluation

📅 2022/8/16 · ☕ 1 min read

評価指標SPICEの論文 (ECCV 2016)
- BLEUなどはn-gramの重なりにsensitiveで, 真の意味でsemanticsを評価しているとは言えない
- そこで, scene graphを用いた評価指標SPICEを提案
- 実際, 画像キャプショニングモデルではよく見かける指標となってきた
流れ
- ① 複数キャプションからscene graphを生成
  - scene graphの生成にはStanford Scene Graph Parserを使用
    - なのでSPICE自体もjavaで機能する
  - ただし, 複数名詞の処理において, ノードの複製はしない
    - (two people はpeopleを２つ増やすのではなくtwo→peopleとするだけ)
- ② 生成文からもscene graphを生成
- ③ 以下に示す $T (G (c))$ について
  $T (G (c)) ≜ O (c) \cup E (c) \cup K (c)$
- Precision, Recallを定義して, F値をSPICEとする
  $P (c, S) = \frac{| T (G (c)) \otimes T (G (S)) |}{| T (G (c)) |}$
  $R (c, S) = \frac{| T (G (c)) \otimes T (G (S)) |}{| T (G (S)) |}$
  $S P I C E (c, S) = F_{1} (c, S) = \frac{2 \cdot P (c, S) \cdot R (c, S)}{P (c, S) + R (c, S)}$
$T (G (c))$ の例
$T (G (c)) = (g i r l), (c o u r t), (g i r l, y o u n g), (g i r l, s t a n d i n g) \(c o u r t, t e n n i s), (g i r l, o n - t o p - o f, c o u r t)$
一番上はUniversal Dependencies

著者

YuWd (Yuiga Wada)

機械学習・競プロ・iOS・Web

関連記事