JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度

和田, 唯我; 兼田, 寛大; 杉浦, 孔明

JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度

Authors

和田唯我, 兼田寛大, 杉浦孔明

Conference

言語処理学会第29回年次大会 (NLP2023)

Abstract

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．しかし，BLEUやMETEORのようなn-gramに基づく自動評価尺度は人間による評価との相関が高くないことが報告されている．そのため英語においては，人間による評価との相関が高いSPICE等が提案されてきたが，日本語においてはそのような自動評価尺度が存在しない．そこで本論文では，日本語のキャプションに対してシーングラフに基づく評価を行う自動評価尺度JaSPICEを提案する．実験の結果，提案尺度はベースライン尺度ならびに機械翻訳による英訳文から算出されたSPICEと比較して，人間による評価との相関係数が高いことを確認した．

Paper

Download PDF

BibTeX

@inproceedings{Wada-2023-jaspice,
  jtitle = "JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度",
  title = "JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度",
  jauthor = "和田, 唯我 and 兼田, 寛大 and 杉浦, 孔明",
  author = "Wada, Yuiga and Kaneda, Kanta and Sugiura, Komei",
  jbooktitle = "言語処理学会 第29回年次大会 (NLP2023)",
  booktitle = "NLP 2023",
  year = "2023",
  pages = "1851-1856",
}