DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation

是方, 諒介; 和田, 唯我; 兼田, 寛大; 長嶋, 隼矢; 杉浦, 孔明

DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation

Authors

是方諒介, 和田唯我, 兼田寛大, 長嶋隼矢, 杉浦孔明

Conference

第41回日本ロボット学会学術講演会

Abstract

高齢化が進行する現代社会における在宅介助者不足に対して，対話的な指示文をもとに家事タスクを実行可能な生活支援ロボットは利便性が高い．しかし，物体操作を含む対話的Vision-and-LanguageNavigation(VLN)を扱う既存手法は特徴量抽出が不十分であり，また未知の環境における頑健性に欠ける．本論文では，言語特徴量，画像特徴量，行動特徴量に敵対的摂動を加えるMoment-basedAdversarialTrainingおよび基盤モデルを用いた並列クロスモーダル特徴抽出機構を導入するDialMATを提案する．実験の結果，対話的VLNの標準ベンチマークにおいて提案手法がベースライン手法を成功率で上回った．

Paper

Download PDF

BibTeX

@inproceedings{Korekata-2023-dialmat,
  jtitle = "DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation",
  title = "DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation",
  jauthor = "是方, 諒介 and 和田, 唯我 and 兼田, 寛大 and 長嶋, 隼矢 and 杉浦, 孔明",
  author = "Korekata, Ryosuke and Wada, Yuiga and Kaneda, Kanta and Nagashima, Shunya and Sugiura, Komei",
  jbooktitle = "第41回日本ロボット学会学術講演会",
  booktitle = "RSJ 2023",
  year = "2023",
  pages = "",
}