ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成

平野, 慎之助; 小松, 拓実; 和田, 唯我; 神原, 元就; 畑中, 駿平; 平川, 翼; 山下, 隆義; 藤吉, 弘亘; 杉浦, 孔明

ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成

Authors

平野慎之助, 小松拓実, 和田唯我, 神原元就, 畑中駿平, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明

Conference

第41回日本ロボット学会学術講演会

Abstract

本研究では，生活支援ロボット物体が物体を配置する際に生じる衝突を事前に予測し，衝突に関する説明文生成を行う．既存手法では衝突物体の特徴抽出が不適切であり，衝突に関係する物体の特定が不十分である．本研究では，大規模言語モデルを用いてデータ拡張を行うEnhancedNearest-neighborCaptioningwithHypothesisAugmeNTation(ENCHANT)を提案する．提案手法の評価を行うため，一つの動画につき平均3.2人によってアノテーションされた4,042サンプルからなる新たなデータセットを構築した．実験の結果，提案手法がベースライン手法をすべての評価指標で上回った

Paper

Download PDF

BibTeX

@inproceedings{Hirano-2023-enchant,
  jtitle = "ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成",
  title = "ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成",
  jauthor = "平野, 慎之助 and 小松, 拓実 and 和田, 唯我 and 神原, 元就 and 畑中, 駿平 and 平川, 翼 and 山下, 隆義 and 藤吉, 弘亘 and 杉浦, 孔明",
  author = "Hirano, Shinnosuke and Komatsu, Takumi and Wada, Yuiga and Kambara, Motonari and Hatanaka, Shumpei and 平川, 翼 and 山下, 隆義 and 藤吉, 弘亘 and Sugiura, Komei",
  jbooktitle = "第41回日本ロボット学会学術講演会",
  booktitle = "RSJ 2023",
  year = "2023",
  pages = "",
}