论文部分内容阅读
空间信息获取技术的更新使DEM数据呈现出海量化特征,导致基于单机环境的数字地形分析算法计算效率低的问题日益突出,而数据并行技术的发展为海量空间数据处理带来新的契机。数据划分作为数据并行的基础,如何构建顾及DEM数据结构及数字地形分析算法并行特征的自适应数据划分、任务调度及结果融合策略是一个亟需解决的问题。本文基于多核集群环境,采用主从式并行架构对基于海量DEM的并行数字地形分析数据划分方法进行了研究,主要研究成果包括:1.面向数据并行的数字地形分析算法分类基于DEM的并行数字地形分析数据划分方法受算法类型影响显著。本研究从数字地形分析算法的数据依赖特性及数据并行过程中有无进程数据通信,将并行数字地形分析算法分为局部地形算法和全局地形算法,并构建了同一分类体系中数字地形分析算法的任务依赖关系。2.设计了面向并行数字地形分析算法的数据划分方法针对局部地形算法计算过程相对独立的并行特性,设计了基于行的数据划分方法,利用窗口数据冗余策略消除了窗口分析造成的数据通信,基于令牌控制实现了结果数据集的无缝融合;为消除可视分析算法对视线数据的绝对依赖性,提出了基于等栅格量的自适应数据划分策略,利用三元组数据结构实现了进程数据的低冗余、高效率存储,基于边界平移数据缓冲策略,保证边界计算结果的正确性;针对流域分析算法计算栅格与全局栅格存在模糊依赖的问题,基于行数据划分策略阐述了基于双栈的流域分析算法并行设计模式。本文分别以可照时间算法、可视域算法及汇流累积算法的并行化为例,分析了不同数据划分策略的并行效率,取得了较好的加速比,有效提高了并行算法的执行效率。3.提出了顾及内存约束的数据划分改进方法本文详细阐述了内存约束的必要性,提出了顾及内存约束的行数据划分和等栅格量数据划分改进策略,分析了内存约束对基于不同数据划分策略的数字地形分析算法并行效率的影响。实验结果表明,针对本文采用的多核集群环境,内存约束量为60-120M左右时,并行数字地形分析算法执行效率最优。综上所述,本文提出的数据划分方法有效提高了数字地形分析对海量DEM数据实时处理的能力,提升了数字地形分析技术的实用化程度,为大范围地理区域与地理过程虚拟空间建模提供了技术支撑。