-
Stanford Scene Graph Parserの論文 (ACL 2015)
- 一応, scene graphを自動化してimage retrievalできるようにしようという趣旨
- https://nlp.stanford.edu/software/scenegraph-parser.shtml
-
流れ
- ①Universal Dependenciesを一部修正したものをsemantic graphとして生成
-
- a lot of 等のquantificational modifiersの修正
-
- 代名詞の解釈
-
- 複数名詞への対応 → ノードを増やす
-
- ②rule-based or classifier-basedなparserでsemantic graphからobject, relations, attributesを抽出
- rule-based parserはsegmexを使用(後述)
- classifier-based parser
- objectのclassとrelationを予測
- どっちかのparserを使ってscene graphを生成
- ③MAP推定により, objectとbboxの対応関係を推定&スコア化し, image retrievalを実行
- ここについてはImage Retrieval using Scene Graphs (CVPR15)に記載
- ①Universal Dependenciesを一部修正したものをsemantic graphとして生成
-
rule-based parser
- 9つのルールを定義
- Adjectival modifiers
- 形容詞的修飾語
- Subject-predicate-object constructions and subject-predicate constructions without an object
- 主語-述語-目的語構文と 主語と述語の構文で、目的語がない場合 オブジェクトのない主語述語構文
- Copular constructions
- 共起語構文 (コピュラ (copula)?)
- Prepositional phrases
- 前置詞句
- Possessive constructions
- 所有格の構文
- Passive constructions
- 受動構文
- Clausal modifiers of nouns
- 名詞の節付け修飾語
- Adjectival modifiers
- 具体的には下のようにsegmexで定義されている
- 9つのルールを定義
|
|