面向公共安全监测的跨模态检索技术

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:bb1206
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模态时空数据是具有时空信息、语义丰富、模态多样的空间数据。随着城市化进程加快,城市公共安全监管越来越重要和复杂,伴随着互联网的广泛应用和传感器及信息技术的高速发展,城市公共安全监测设施和技术手段更加普遍和多样;与此同时,城市公共安全监测过程会产生大量的多模态时空数据,如何实现多模态时空数据的跨模态检索,从而为城市公共安全事件的快速诊断、发现和预警提供有力的数据支持成为亟需解决的问题和研究重点。目前,跨模态检索技术的研究主要面向计算机领域的文本、视频和图像数据,没有考虑空间数据特有的时空特性,难以支持顾及时间、空间和语义信息的多模态时空数据跨模态检索,因此本文面向城市公共安全监测的跨模态检索需求,重点研究顾及多模态时空数据时间、空间和语义关联的跨模态检索技术。论文的主要研究内容包括:(1)基于语义的多模态时空数据关联模型。针对多模态时空数据具有的低层特征异构、高层语义相关的特点,本文提出了基于语义的多模态时空数据关联模型。该模型基于时空数据特征-语义映射机制,运用本体理论构建了多模态时空数据语义表达模型,实现了多模态时空数据的规范化语义表达;在此基础上,本文提出多模态时空数据的时间关联性、空间关联性和语义关联性计算方法,实现了多模态时空数据的关联构建和关联性度量,为面向公共安全监测的跨模态检索提供了模型支持;(2)时空语义一体化索引方法。本文针对多模态时空数据的时间、空间和语义一体化查询需求,基于Geohash编码和倒排索引结构,提出了时空语义一体化索引方法。该索引基于Geohash网格划分与编码作为空间参考,按照多模态时空数据的时间粒度进行粗粒度和细粒度的二次划分,对划分后的每个节点按层次建立时间关联状态倒排结构、空间关联状态倒排结构、语义倒排结构以及二重倒排结构,该索引充分考虑了多模态时空数据的空间分布、时间粒度和语义关联,为面向公共安全监测的跨模态检索提供了顾及时间、空间和语义的时空语义一体化索引方法支持;(3)跨模态时空数据检索方法。本文面向公共安全监测中多模态时空数据的跨模态检索需求,定义了多模态时空数据的时空关联检索模式,提出了时空变化对象的跨模态检索方法和时空变化过程的跨模态检索方法,在此基础上,基于本文提出的时空语义一体化索引,实现了时空变化对象的时空关系查询和语义相似度查询以及时空变化过程的行为过程检索和事件变化过程检索,为面向公共安全监测的跨模态检索提供了有效的检索方法。最后,本文以轨迹数据、地理视频、POI数据、矢量数据和图片等5种典型时空数据作为实验数据,实例化构建了多模态时空数据语义表达模型,基于本文给出的时间关联性、空间关联性和语义关联性计算方法,实现了多模态时空数据的关联构建和关联性分析,验证了基于语义的多模态时空数据关联模型的有效性;在此基础上,本文构建了时空语义一体化索引,并对比传统组合式索引开展了不同查询条件下的时空变化对象的跨模态检索和时空变化过程的跨模态检索的相关实验与分析,实验结果验证了本文提出的时空语义一体化索引方法和跨模态时空数据检索方法的有效性。
其他文献
子宫内膜异位症是育龄期妇女常见的良性疾病,24~29岁为发病高峰年龄[1]。由于子宫内膜腺体和间质在子宫内膜以外的部位生长、浸润,常引起痛经、性交痛、排便痛等盆腔疼痛,还
结合实际经验,探讨<中国分类主题词表>的符号在CNMARC中的套录.
本文指出I25类目存在结构涣散、设置重复或不合理、注释欠缺或不当、意义不明等问题,并提出了修订意见.
防范信贷风险是银行信贷经营管理中的主题,也是难题.当前,我国社会信用制度建立正处于探索阶段,社会信用保障体系尚未完善起来,政策法规配套措施有待进一步加强,银行系统防范
目的探讨新型冠状病毒肺炎(COVID-19)流行对手术室护理工作的影响。方法对我中心2019年1-4月和2020年1-4月同期11周择期手术量、急诊手术量进行比较。结果2020年1-4月疫情期
用智能和色彩打造高效办公近年来,彩色文档在日常办公中扮演着越来越重要的角色,哪怕只是在文档的页眉、页脚中加入Logo等彩色素材,也能使原本白底黑字的文档变得鲜活起来。