Skip to content

Latest commit

 

History

History
430 lines (397 loc) · 26.2 KB

extended_readme.md

File metadata and controls

430 lines (397 loc) · 26.2 KB

VirtualHome2KGデヌタセット―家庭内の日垞生掻行動のシミュレヌション動画ずナレッゞグラフ―

このペヌゞの最新情報はこちらに移動したした。

video kg

簡単に蚀うず

  • 家庭内日垞生掻を仮想空間でシミュレヌションした動画ずその内容を衚すナレッゞグラフのセット

目次

  1. 背景
  2. 提案デヌタセット
  3. デヌタセットの構成
  4. ナレッゞグラフの説明
  5. ナレッゞグラフの䜿甚方法
  6. 同様のナレッゞグラフの䜜成方法
  7. LODチャレンゞ向けの説明

背景

  • 超高霢化瀟䌚に䌎い日垞生掻に朜む安党䞊・健康䞊の問題の予枬分析の需芁が増加
  • デヌタ収集の倚くは物理機材や被隓者を芁しコストがかかる䞊に条件倉曎が難しくラむセンス䞊制限が厳しい
  • 収集デヌタ内に意味的な関係が䞍足しおいるため意味やコンテキストを考慮した分析が難しい

提案デヌタセット

  • 仮想空間内で日垞生掻行動をシミュレヌションした動画デヌタ
  • 動画の内容をナレッゞグラフ化したデヌタ"誰"がどんな"物"にどんな"行動"をしおその結果"物の状態"や"䜍眮関係"がどうなったか
  • 䞊蚘をオヌプンデヌタずしお公開

デヌタセットの構成

  • 動画
    • mp4圢匏
    • 30皮類の行動シナリオ(36皮類に曎新: 2022/10/17)
    • 1皮類に぀きキャラクタヌ埌方芖点ファむル名末尟0宀内カメラ芖点ファむル名末尟1があり合蚈60個の動画 (72個に曎新: 2022/10/17)
    • キャラクタヌ動䜜がゆっくりな動画は高霢者の動きを再珟しおいたす
  • ナレッゞグラフ
    • RDF圢匏
    • 動画に察応する30個のナレッゞグラフ(36個に曎新: 2022/10/17)
    • スキヌマは埌述
  • 台本デヌタ
    • txt圢匏
    • 動画ずナレッゞグラフを生成するためにVirtualHome2KGに䞎えたデヌタ
    • 行動のタむトルず簡単な文章説明を含む

ナレッゞグラフの説明

オントロゞヌの仕様曞

党クラス・むンスタンス・プロパティの説明は䞋蚘の仕様曞を埡芧ください。
https://aistairc.github.io/VirtualHome2KG/vh2kg_ontology.html
以䞋で代衚的なクラス・プロパティを説明したす。

スキヌマ図

schema

接頭蟞
Prefix URI
: http://example.org/virtualhome2kg/ontology/
ho: http://www.owl-ontologies.com/VirtualHome.owl#
time: http://www.w3.org/2006/time#
x3do https://www.web3d.org/specifications/X3dOntology4.0#
代衚的なクラス
QName Description
ho:Activity 家庭での人間の日垞掻動。このクラスはHomeOntologyから再利甚されおいる。
:Event アクティビティを構成する现かなむベント。
:Action むベント内で行われる人間の動䜜アクション。
:Object 食べ物、家具、電化補品、消耗品、生掻甚品など、家庭内にある様々なオブゞェクト。
:Situation 特定の瞬間における家庭内の状況。その瞬間における家庭内のすべおのオブゞェクトの状態Stateむンスタンスは、このクラスのむンスタンスの䞀郚分(part)ずなる。
:State 特定の瞬間における、特定の物䜓の状態。むベントの前埌で状態が倉化する堎合にのみ新たにむンスタンスが䜜成される。
:StateType オブゞェクトの状態の皮類. このクラスのむンスタンスは、VirtualHomeのobject statesに基づいおいる。
:Attribute オブゞェクトの属性。
:Shape オブゞェクトの圢状ず䜍眮を衚すクラス。サむズず座暙を含む3Dバりンディングボックスの倀を持぀。このクラスはX3D ontologyから再利甚されおいる。
time:Duration 動䜜の実行時間秒数。 このクラスはTime Ontologyから再利甚されおいる。
代衚的なプロパティ
QName Domains Ranges Description
:activty :Character :Activity キャラクタヌ゚ヌゞェントずアクティビティを関連付ける。
:action :Event :Action むベントずアクション(動䜜)を関連付ける。アクティビティはアクションのシヌケンスで構成される。
:eventNumber :Event xsd:int アクティビティにおけるむベントの順序を瀺す。
:situationBeforeEvent :Event :Situation あるむベントをある状況に関連付ける。䜕らかのむベントが実行される前の家庭内の状況。
:situationAfterEvent :Event :Situation あるむベントをある状況に関連付ける。䜕らかのむベントが実行された埌の家庭内の状況。
:mainObject :Event :Object ho:objectのサブプロパティ。むベントをメむンオブゞェクトに関連付ける。むベントにおける動䜜察象のオブゞェクトを衚す。「object_Xをobject_Yにactionする」のような堎合、object_Xを指定する堎合にこのプロパティを䜿う。
:targetObject :Event :Object ho:objectのサブプロパティ。むベントをタヌゲットオブゞェクトに関連付ける。むベントにおける動䜜察象のオブゞェクトを衚す。「object_Xをobject_Yにactionする」のような堎合、object_Yを指定する堎合にこのプロパティを䜿う。
time:hasDuration :Event time:Duration むベントずその実行時間を関連付ける。
:isStateOf :State :Object オブゞェクトずその状態を関連付ける。
:state :State :StateType 状態をその倀に関連付ける。
:affords :Object :Action オブゞェクトずアクションを関連付ける。オブゞェクトのアフォヌダンスを意味する。
:attribute :Object :Attribute オブゞェクトに属性を関連付ける。
:partOf :State :Situation オブゞェクトの状態(State)が、どの瞬間の家庭内の状況(Situtation)のものであるかを衚す。
:bbox :State :Shape ある時点でのオブゞェクトの状態のリ゜ヌスず圢状リ゜ヌスを関連付ける。
:nextActivity :Activity :Activity アクティビティ間の関係を衚す。次のアクティビティ。
:nextEvent :Event :Event むベント間の関係を衚す。次のむベント。
:nextSituation :Situation :Situation 状況間の関係を衚す。次の状況。
:nextState :State :State オブゞェクトの状態間の関係を衚す。オブゞェクトの次の状態。
:between :Shape :Shape 䞻にドアオブゞェクトに適応される。キッチンずリビングの間にドアがある堎合、このプロパティはドアずリビング、ドアずキッチンの関係に䜿甚される。詳现はVirtualHomeのrelationsをご芧ください。
:close :Shape :Shape オブゞェクト間の距離が1.5m以内であるこずを意味する。詳现はVirtualHomeのrelationsをご芧ください。
:facing :Shape :Shape オブゞェクト1からオブゞェクト2が芋えるこずを意味する。オブゞェクトの䞭心間の距離が5m以内。詳现はVirtualHomeのrelationsをご芧ください。
:holds_lh :Shape :Shape 巊手でオブゞェクトを持っおいるこずを意味する。したがっお䞻語はCharacterに関するShapeである。詳现はVirtualHomeのrelationsをご芧ください。
:holds_rh :Shape :Shape 右手でオブゞェクトを持っおいるこずを意味する。したがっお䞻語はCharacterに関するShapeである。詳现はVirtualHomeのrelationsをご芧ください。
:inside :Shape :Shape オブゞェクト1がオブゞェクト2の䞭に䜍眮しおいるこずを意味する。詳现はVirtualHomeのrelationsをご芧ください。
:on :Shape :Shape オブゞェクト1がオブゞェクト2の䞊に䜍眮しおいるこずを意味する。

具䜓的なナレッゞグラフの説明

kgの䟋 (listen to music)

ナレッゞグラフの䜿甚方法

ナレッゞグラフはRDF圢匏のデヌタで提䟛しおいるためトリプルストアに栌玍するこずでク゚リ蚀語SPARQLを䜿甚しお様々な怜玢が可胜ですたたSPARQL゚ンドポむントを提䟛しおいたすのでそちらから盎接ご利甚いただけたす

参考資料:

SPARQL゚ンドポむント

本デヌタセットを栌玍したSPARQL゚ンドポむントを提䟛しおいたす。
http://kgrc4si.ml:7200/sparql
リポゞトリは「KGRC4SIv0」を遞択しおください。2022/10/15時点
トリプルストアずしおOntotext GraphDBを䜿甚しおいたす基本的な䜿甚方法はこちらの動画を埡芧ください。

SPARQLク゚リ䟋

アクティビティの䞀芧を取埗する

PREFIX ex: <http://example.org/virtualhome2kg/instance/>
PREFIX : <http://example.org/virtualhome2kg/ontology/>
select DISTINCT * where {
    ?activity :virtualHome ex:scene1 .
}

実行結果

「むンタヌネットをブラりズする」ずいうアクティビティ䞭のむベントずアクションを取埗する

PREFIX ex: <http://example.org/virtualhome2kg/instance/>
PREFIX : <http://example.org/virtualhome2kg/ontology/>
select DISTINCT * where {
    ex:browse_internet_scene1 :hasEvent ?event .
    ?event :action ?action .
}

実行結果

むンタラクションしおいるオブゞェクトのタむプ䞀芧

PREFIX : <http://example.org/virtualhome2kg/ontology/>
select distinct ?objectType where { 
    ?event (:mainObject|:targetObject) ?object .
    ?object a ?objectType .
}

実行結果

よく掎たれおいるオブゞェクト

PREFIX ho: <http://www.owl-ontologies.com/VirtualHome.owl#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
PREFIX : <http://example.org/virtualhome2kg/ontology/>
PREFIX dcterms: <http://purl.org/dc/terms/>
PREFIX ac: <http://example.org/virtualhome2kg/ontology/action/>
select ?name (count(?object) AS ?count) where { 
	?objectClass rdfs:subClassOf :Object .
    ?object a ?objectClass ;
            rdfs:label ?label ; 
            dcterms:identifier ?id .
    ?event ho:object ?object .
    ?event :action ac:grab .
    BIND(concat(?label, ?id) AS ?name)
} group by ?object ?name order by desc(count(?object))

実行結果

オブゞェクトの高さ情報を远加する

PREFIX x3do: <https://www.web3d.org/specifications/X3dOntology4.0#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX : <http://example.org/virtualhome2kg/ontology/>
PREFIX ex: <http://example.org/virtualhome2kg/instance/>
CONSTRUCT {
    ?object :height ?height_node .
    ?height_node rdf:value ?size_y1 ;
           :unit :meter .
} WHERE {
	?state1 :isStateOf ?object ; :bbox ?shape1 .
	?shape1 x3do:bboxSize ?size1 .
	?size1 rdf:rest ?size_y .
    ?size_y rdf:first ?size_y1 .
    BIND(REPLACE(STR(?object), STR(ex:) ,"") AS ?object_name)
    BIND(URI(CONCAT(STR(ex:),"height_", ?object_name)) AS ?height_node)
}

実行結果

同様のナレッゞグラフの䜜成方法

本デヌタセットは我々の提案システム「VirtualHome2KG」を䜿甚しお䜜成されおいたす。
詳现はこちらの資料を埡芧ください。

LODチャレンゞ2022向けの説明

  • Impact - 圱響力
    • 高霢者の家庭内における事故に぀ながる可胜性がある危険な行動や危険な状況を発芋し説明する手法の開発を促進したす。
    • 動画ずナレッゞグラフを同時に扱うマルチモヌダルAIの開発に資するGround truthデヌタセットずしお発展しおいくず考えおいたす。
  • Creativity - 創造力
    • 日垞生掻における動䜜・行動意味のある動䜜のたずたり・モノ・状態・䜍眮関係・アフォヌダンスなどを事现かに蚘録し各゚ンティティがURIずしお䞀貫性のある䞀意なIDを持ち参照解決は今埌の課題゚ンティティ同士が盞互に関連付けられたデヌタセットはこれたでになく既存のシヌングラフよりも倚くの情報量を持っおいたす単にデヌタを倉換しただけでなく既存のオントロゞヌやオントロゞヌデザむンパタヌンを再利甚しながら新たなスキヌマを提案し怜玢性胜を高める工倫を斜しおいたす
  • Usefulness - 有甚性
    • 動画の内容をナレッゞグラフずしお衚珟するこずでSPARQL䟋に瀺したずおり柔軟な怜玢が可胜です。様々な芖点から日垞生掻パタヌンを分析し安党䞊・健康䞊のリスク回避に圹立おる手法やツヌルを開発するためのベンチマヌク甚のデヌタセットずしお機胜したす
  • Accessibility - 機械可読性
    • ナレッゞグラフはRDF圢匏で提䟛し可胜な限り゚ンティティをリテラルではなくURI付きリ゜ヌスずしおおり機械可読性は高いず蚀えたす
  • Openness - 開攟性
    • CC BY 4.0ラむセンスのオヌプンデヌタずしお公開しおいたす
    • RDF化されおおり各゚ンティティに䞀意なURIが付䞎されおいたすが参照解決は今埌の課題ずしおいたす
  • Linkability - ぀ながる可胜性
  • Sustainability − 持続可胜性
    • 珟圚本提案デヌタセットを利甚しお「ナレッゞグラフ掚論チャレンゞ【実瀟䌚版】」を開催しおおり継続しおデヌタセットを远加しおいたす今幎床䞭にデヌタが数十件増える予定ずなっおおりその埌もデヌタ増加・クオリティの向䞊を怜蚎しおいたすチャレンゞ終了埌もGithub repositoryで継続しお公開したす

リファレンス

  • 江䞊呚䜜鵜飌孝兞窪田文也倧野矎喜子北村光叞犏田賢䞀郎: 家庭内の事故予防に向けた合成ナレッゞグラフの構築ず掚論第56回人工知胜孊䌚セマンティックりェブずオントロゞヌ研究䌚, SIG-SWO-056-14 (2022) [J-STAGE]
  • Egami, S., Nishimura, S., Fukuda, K.: A Framework for Constructing and Augmenting Knowledge Graphs using Virtual Space: Towards Analysis of Daily Activities. Proceedings of the 33rd IEEE International Conference on Tools with Artificial Intelligence. pp.1226-1230 (2021) [IEEE Xplore]
  • Egami, S., Nishimura, S., Fukuda, K.: VirtualHome2KG: Constructing and Augmenting Knowledge Graphs of Daily Activities Using Virtual Space. Proceedings of the ISWC 2021 Posters, Demos and Industry Tracks: From Novel Ideas to Industrial Practice, co-located with 20th International Semantic Web Conference. CEUR, Vol.2980 (2021) [pdf]

ラむセンス

クリ゚むティブ・コモンズ・ラむセンス
江䞊呚䜜他 䜜『VirtualHome2KGデヌタセット―家庭内の日垞生掻行動のシミュレヌション動画ずナレッゞグラフ―』はクリ゚むティブ・コモンズ 衚瀺 4.0 囜際 ラむセンスで提䟛されおいたす。
https://github.com/aistairc/VirtualHome2KGにある䜜品に基づいおいる。

謝蟞

この成果は囜立研究開発法人新゚ネルギヌ・産業技術総合開発機構(NEDO)の委蚗業務(JPNP20006, JPNP180013)の結果埗られたものです