论文部分内容阅读
多模态时空数据是具有时空信息、语义丰富、模态多样的空间数据。随着城市化进程加快,城市公共安全监管越来越重要和复杂,伴随着互联网的广泛应用和传感器及信息技术的高速发展,城市公共安全监测设施和技术手段更加普遍和多样;与此同时,城市公共安全监测过程会产生大量的多模态时空数据,如何实现多模态时空数据的跨模态检索,从而为城市公共安全事件的快速诊断、发现和预警提供有力的数据支持成为亟需解决的问题和研究重点。目前,跨模态检索技术的研究主要面向计算机领域的文本、视频和图像数据,没有考虑空间数据特有的时空特性,难以支持顾及时间、空间和语义信息的多模态时空数据跨模态检索,因此本文面向城市公共安全监测的跨模态检索需求,重点研究顾及多模态时空数据时间、空间和语义关联的跨模态检索技术。论文的主要研究内容包括:(1)基于语义的多模态时空数据关联模型。针对多模态时空数据具有的低层特征异构、高层语义相关的特点,本文提出了基于语义的多模态时空数据关联模型。该模型基于时空数据特征-语义映射机制,运用本体理论构建了多模态时空数据语义表达模型,实现了多模态时空数据的规范化语义表达;在此基础上,本文提出多模态时空数据的时间关联性、空间关联性和语义关联性计算方法,实现了多模态时空数据的关联构建和关联性度量,为面向公共安全监测的跨模态检索提供了模型支持;(2)时空语义一体化索引方法。本文针对多模态时空数据的时间、空间和语义一体化查询需求,基于Geohash编码和倒排索引结构,提出了时空语义一体化索引方法。该索引基于Geohash网格划分与编码作为空间参考,按照多模态时空数据的时间粒度进行粗粒度和细粒度的二次划分,对划分后的每个节点按层次建立时间关联状态倒排结构、空间关联状态倒排结构、语义倒排结构以及二重倒排结构,该索引充分考虑了多模态时空数据的空间分布、时间粒度和语义关联,为面向公共安全监测的跨模态检索提供了顾及时间、空间和语义的时空语义一体化索引方法支持;(3)跨模态时空数据检索方法。本文面向公共安全监测中多模态时空数据的跨模态检索需求,定义了多模态时空数据的时空关联检索模式,提出了时空变化对象的跨模态检索方法和时空变化过程的跨模态检索方法,在此基础上,基于本文提出的时空语义一体化索引,实现了时空变化对象的时空关系查询和语义相似度查询以及时空变化过程的行为过程检索和事件变化过程检索,为面向公共安全监测的跨模态检索提供了有效的检索方法。最后,本文以轨迹数据、地理视频、POI数据、矢量数据和图片等5种典型时空数据作为实验数据,实例化构建了多模态时空数据语义表达模型,基于本文给出的时间关联性、空间关联性和语义关联性计算方法,实现了多模态时空数据的关联构建和关联性分析,验证了基于语义的多模态时空数据关联模型的有效性;在此基础上,本文构建了时空语义一体化索引,并对比传统组合式索引开展了不同查询条件下的时空变化对象的跨模态检索和时空变化过程的跨模态检索的相关实验与分析,实验结果验证了本文提出的时空语义一体化索引方法和跨模态时空数据检索方法的有效性。