论文部分内容阅读
随着科学技术的不断发展进步,人们认识海洋的手段不断增多,海洋相关的各种时空数据获取方式多种多样,时间周期短,数据量大。采用传统的方式处理效率低下。而云计算技术的应用可以有效的解决海洋大数据处理中存在的效率问题,它采取并行计算的方式实现计算任务的加速。 针对海量涌现的海洋空间矢量数据集,本文采用现今被广泛应用的数据并行方式实现任务加速;就数据并行中对空间矢量数据动态分组,本文提出了一种基于K-D树(K维数缩写)改进的分组算法(简称N-KD树空间分组算法)。本算法可以满足区域适应性、实时快速分组、确保分组后各组数据董均衡、保持分组数据的空间邻近性四个特点,算法引用K-D树建立索引的方法,将空间点集的空间属性(即空间点集所处的空间范围的X方向或者Y方向)作为划分参照,经方差计算,对比X,Y方向上的数据离散程度,选择离散度高的方向分组。后按文中算法对数据进行空间分组,统计分组结果的数据量确定是否终止。递归的重复上述过程至满足终止条件。这种分组方法可以动态的将用户提交的不同数据量、处于不同区域的空间点集计算任务的数据分成数据量均衡若干个组,构建平衡二叉树,并且能够很好的保持数据的空间邻近性。实验分析表明,该算法具有较好的动态分组效果与较高的计算效率,较之传统K-D树分组方法减少分组耗时近30倍;而且在保持各组数据数据量的均衡上有较大的优势,较之空间位置划分方法各分组结果间数据量基本均衡。