云环境下顾及空间子域分布特征的空间大数据并行计算方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:wossmbbu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
空天地立体观测与移动互联网技术的蓬勃发展带来爆炸式增长的空间大数据,迫使空间分析计算模式从集中式处理、单人机交互向高扩展性、高效性、数据多源性方向转变。利用云计算资源实现空间大数据并行化处理是完成这一模式转变的重要途径。云环境下的并行计算范式本质上是一种单指令多数据流并行,该范式要求将数据集划分成独立的无共享的部分并行处理。然而,空间数据具有组织异构、分布不均衡、实体关联性强等特点,这导致空间数据无法直接分割以适应云环境下的并行计算范式,传统的并行空间计算方法大多面向特定的应用场景,缺乏对空间实体关联关系及分布特征的考虑,未能形成包括空间大数据组织存储、划分计算、效率优化等在内的并行计算方法体系。针对以上问题,本文开展了顾及空间子域分布特征的空间大数据并行计算方法体系研究,提出了不同空间子域分布特征的空间操作数据划分策略与并行化方法,以实际空间计算场景为例,采用真实的空间大数据集对本文提出的方法进行了正确性与高效性验证,为云环境下亿级空间大数据计算提供了方法支撑与案例借鉴。本文的研究内容概括如下:(1)遵循云环境下并行计算范式要求,设计了空间数据云存储组织与并行空间计算统一流程表达方法,研究了面向数据划分的空操作分类及其空间子域分布特征,提出了空间子域的任务计算量评估方法,形成完整的并行空间计算方法体系。(2)在上述基础上,针对本地空间操作的特性,设计了基于默认子域和基于格网子域的两种通用本地空间操作数据划分方法,基于这两种方法实现了空间频率图和多级金字塔矢量图的并行绘制,以十亿级全球兴趣点与百万级矢量多边形为测试数据对比验证了方法的适用性与高效性。(3)提出了邻域空间操作的三种规则空间子域分布形态:范围分布的规则空间子域、范围时空分布的规则空间子域、异构数据叠加误差导致的规则空间子域,对上述三种子域分布特性的空间操作分别设计了并行化方法,分别以空间距离连接、时空热点分析、大规模三维地表表面积计算为案例验证了方法的适用性与高效性。(4)针对空间子域不规则分布的邻域空间操作的特点,以K邻近连接为例,提出了基于格网均匀扩张的不规则空间子域范围确定方法和基于Voronoi的不规则空间子域范围确定方法,在此基础上实现了 K邻近连接的并行化算法,通过性能实验对比了两种方法的适用性与高效性。
其他文献
当今小学生作文的现状不容乐观。作文是一种运用文字与人沟通的方式,教师要在作文教学中指导学生积累素材,培养他们的仿写能力,引导他们抓住生活细节,搞好作文评改。
随着我国城市化建设进程不断推进,桥式起重机在社会生产中的应用愈加广泛。但桥式起重机作为一种大型的施工设备,在运作过程中存在很多的风险因素,在实际施工中也造成了不少
为完善外债、建立健全境外债权的统计监测与管理,防范外债支付风险,规范贸易项下资金跨境流动,促进国际收支平衡, 2008年7月14日以来,国家外汇管理局先后对企业货物贸易项下外债及境外债权实行登记管理,并辅之推行了贸易信贷登记管理系统。为了解政策执行情况,国家外汇管理局湖南省分局对辖区内外汇指定银行、外贸企业进行了贸易信贷抽样调查。    一、基本情况    截止2009年6月30日,全省企业累计办
【正】一、资产证券化的原理与运作机制资产证券化是指将缺乏流动性、但能够产生可预见现金流收入的资产,转换成为在金融市场上可以出售和流通的证券的行为。资产证券化的过
《三呼圣灵》曾一举拿下澳大利亚最高文学奖——迈尔斯·弗兰克林奖,小说描写了在一个封闭的机构内部,个人道德与权威之间的冲突。文章通过三个不同的视角对小说进行解析,分
淋巴管肌瘤病(LAM)是一种罕见的肺部疾病,分为散发性LAM(s LAM)和结节性硬化症相关LAM(TSC-LAM)两种,主要见于育龄女性,以肺部囊性病变和血管肌脂瘤或淋巴管肌瘤等腹部肿瘤为