一种分布式环境下的时空数据存储与多维混合索引方法

来源 :浙江大学 | 被引量 : 0次 | 上传用户:jing8522
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着空间信息服务逐渐向时空大数据服务转变,时空数据质量及时效性得到保障,时空大数据的高效查询与挖掘分析为复杂场景提供决策响应支持。当前时空数据管理方法结合大数据框架初步解决了数据规模问题,但整体研究尚未充分考虑扩展数据库存储模式、索引方式单一且通用性不强。本研究结合分布式存储技术与多维时空混合索引方法,旨在建立高效可扩的时空数据高效存储与时空索引优化方法,在此基础上构建高效存取的综合方案,支撑时空数据相关应用。研究具体如下:(1)在分布式计算相关技术架构和数据存储特性基础上,分析时空数据特点及其在分布式环境下实现高效存储与并行处理技术的关键问题。构建基于HBase的分布式时空数据存储组织模型,降低时空数据结构与索引之间的耦合,结合数据分布特征与分层分块的逻辑组织,设计一种多表、多索引混合管理的数据存储模式,为时空数据的高效查询提供高可用的数据存储结构基础。(2)基于大数据技术架构特点,结合时空数据整体的时空聚集性、全时态等特点,分析了时空索引基于多维空间索引设计的可行性。本文基于S2-Geometry算法在地理空间的编码与运算能力,构建通用化层次格网管理时空对象,引入CompactHilbertIndex算法集成时间信息优化时空混合索引值生成方法。索引方法应用于数据表结构设计并通过分片序列解析优化时空范围查询方法,形成面向分布式环境下的时空索引整体设计方案。最后,通过时空大数据挖掘原型系统的构建以及时空索引构建效率与查询性能的对比实验,证明了本文关键技术研究的可行性和有效性。本文关键技术研究已应用于宁波市时空信息云平台中,实践表明,该方案能够满足大规模时空数据的高效管理、实时检索与并行计算等需求,进而在智慧城市挖掘场景中完成计算任务,并具有良好的扩展性,为其他海量数据管理模式提供了借鉴。
其他文献
工程纤维增强水泥基复合材料(ECC)具有应变硬化和多裂缝开展性能,能明显改善混凝土结构的抗裂性能和变形能力。通过控制纤维掺量变化、CFRP约束层数变化、倒角率变化,对14组不
目的探讨他克莫司联合糖皮质激素治疗难治性特发性膜性肾病的临床疗效并作评价分析。方法纳入60例难治性特发性膜性肾病患者并随机性划分为两组。对照组接受环磷酰胺联合糖皮
委婉语是日本人善用的表达形式,体现了日本人以和为贵的心理。日本人认为,在对话中运用委婉语,能使表达更具礼貌性。由此,本文从模糊语言学的角度出发,探讨日语中的委婉表达形式,即
目的:建立电感耦合等离子体光谱法测定食品中硼的方法。方法:样品经硝酸高压密闭消解,用电感耦合等离子体光谱法对硼含量进行测定。结果:方法在0 mg/L~10 mg/L范围内呈良好线
位居“金陵八家”之首的龚贤是明末清初的艺术大家,以山水为长。龚贤生活的社会环境很恶劣,国家破败、家人离散的悲惨经历,让他一生中的大半时光都处在颠沛流离的状态,但在这充满苦难的岁月中,他以他超凡的天赋和毅力使他的绘画创作突破了传统水墨的束缚,展现出别有洞天的世界。他的绘画作品最负盛名的是浓黑透亮的“黑龚”时期,在“黑龚”风格之前,还有明净简约的“白龚”、苍茫迷离的“灰龚”风格。龚贤一生中不断地探索研
作文教学在小学语文教学中占据重要位置,学生的作文能力强弱是对小学语文教学最直接的检验器。本文从小学语文中的“类型作文”入手,探究作文教学的内容和方式方法。 Compos
2008年,由于次级抵押贷款,美国开始出现严重的金融危机,最终全球金融危机蔓延。随着对专家这次金融危机爆发原因的分析,一些隐藏在这次金融危机背后的原因浮出水面,本文通过
本文针对当前烟叶生产过程中推进绿色防控工作的难点与关键点,分析了烟草绿色防控的发展现状,并分别从理念宣贯、技术集成和技术示范3个方面就如何深入推进烟草绿色防控技术
为了探讨我国棉花生产是否具有向西北扩张转移的可能性,在分析甘肃、陕西、山西3省棉花生产的气候及灌溉条件基础上,运用主成分分析方法对我国14个棉花生产省(区)棉花生产的技
民事判决理由乃是司法者对其行使审判权作出裁断结果的说明和阐释。民事判决理由的可接受性已成为衡量司法裁判正当性的内在品格。民事判决理由的可接受性关涉到法官适用的裁