论文部分内容阅读
随着互联网、传感网、物联网和社交网络的快速发展与应用,智慧城市每时每刻将会产生海量的多模态时空数据,给智慧城市展示、分析和探索等多层次可视化任务提供了重要的数据支撑。任务所需多模态时空数据称为多模态场景数据,具备多元异构、动态变化和复杂关联的特点,需要及时的以高性能、低延迟的方式处理,对数据的存储、索引、查询提出了更高要求。如何高效率的组织管理多模态场景数据,满足智慧城市中数据密集型、计算密集型和交互密集型应用对多模态场景数据的差异性需求,是场景数据组织管理研究所面临的严峻挑战。现有的场景数据组织管理主要面向单一的低层次展示性可视化任务。数据存储以磁盘为主,I/O延迟高且模式单一,索引方法以树结构为主,难以高效组织多模态场景数据的时间、空间、语义和关联关系,满足多样化查询需求。为了实现面向多层次可视化任务的场景数据自适应汇聚,满足场景的实时构建与交互需求,本文提出适用于多模态场景数据的多层次混合时空索引方法,系统研究多模态场景数据特点以及多层次可视化任务的内涵,分析多层次可视化任务对场景数据的差异性需求,建立全局-局部协同的时空索引机制;提出一种基于时空关系图的多层次混合时空索引方法,并在此基础上研究内外存索引更新与优化方法;进一步研究基于微服务架构的场景数据组织管理引擎,设计以内存为中心的场景数据多模型存储微服务,实现多层次可视化任务所需的多模态场景数据高效存储、索引和查询。主要研究内容包括:(1)多模态场景数据时空索引机制。通过研究人机物三元空间中场景数据的多元,多维,多尺度等多模态特性,以及展示、分析和探索三类可视化任务的内涵和驱动力,总结出了多层次可视化任务对多模态场景数据调度的差异性需求。针对面向多层次可视化任务的场景数据组织过程中存在的数据密集、计算密集和交互密集的难题,针对性的设计了全局-局部协同的时空索引机制,为后续研究提供了理论基础。(2)基于时空关系图的多层次混合时空索引方法。在上述时空索引机制基础上研究了基于稀疏矩阵的时空关系图索引的内存实现,并以此为全局索引设计了场景数据多层次混合时空索引结构,建立了全局索引到局部索引的关联映射,突破了内外存高效协同的复杂场景数据管理与调度技术,以适应多样化的场景数据调度需求。(3)基于微服务架构的场景数据组织管理引擎。为了实现展示、分析和探索就绪的场景数据高效组织管理,基于微服务架构设计了场景数据组织管理引擎结构及其运行机制,实现了场景数据存储、索引和查询的高效集成,进一步提出了以内存为主的场景数据多模型存储微服务,研究了面向展示、面向分析和面向探索的多模式数据查询视图,提升了场景数据的可见性,实现了场景数据的高效组织管理。(4)基于上述研究成果,研发场景数据组织管理原型系统,并以主流的关系数据库Postgre SQL和No SQL数据库Mongo DB作为对比方法,分别针对典型的基础框架数据,智能感知数据和关联关系数据开展场景数据的组织管理效率实验。实验结果表明:本文提出的方法优于对比方法,更能够高效的组织管理多模态场景数据,满足多层次可视化任务对场景数据调度的差异性需求,为场景的实时构建与交互提供数据支撑。