论文部分内容阅读
随着对地观测技术的不断发展,海量遥感图像的分析成为近些年来军事、气象、交通等领域研究的重点,图像镶嵌作为遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥着重要作用。为了解决传统遥感图像并行镶嵌算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代类型数据处理的优势,提出一种基于Spark自定义RDD(弹性分布式数据集)的并行镶嵌方法,通过自定义针对遥感图像镶嵌处理的RDD来完成整个镶嵌过程,从而提高图像并行镶嵌的效率。本文的主要研究内容和工作如下:(1)Spark集群中自定义RDD的算法实现。通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并实现图像重叠区域估计、图像配准和图像融合三个操作算子。在实现重叠区域估计操作算子时,针对传统遥感图像并行镶嵌算法中存在的串行执行图像重叠区域估计操作导致处理效率不高的问题,根据进行重叠区域估计操作的相位相关法中傅里叶变换、傅里叶反变换等计算步骤的逻辑可分性和数据独立性,通过单指令多节点并行执行的方式对传统相位相关法进行改进,实现在集群的多节点上并行处理;在实现图像配准操作算子时,细化SIFT算法的处理步骤,解耦算法处理过程中图像间的关联关系,通过任务并行的思想,实现其并行处理;在实现图像融合操作算子时,根据泊松融合中各处理步骤的特点,在集群中同时进行多组图像的融合计算,实现图像融合操作的并行处理。(2)基于自定义RDD的遥感图像并行镶嵌方法的研究。将图像镶嵌中的重叠区域估计、图像配准和图像融合三个关键步骤作为自定义RDD的Transformation类型的操作算子,并根据镶嵌过程每个Partition中遥感图像的数量变化对调用操作算子生成的RDD进行依赖关系划分;然后在程序执行过程中通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子来完成图像镶嵌的整个处理过程;最后通过实验表明,本文提出的基于自定义RDD的遥感图像并行镶嵌算法具有良好的稳定性和扩展性。并且与传统基于MPI的并行镶嵌算法相比,本论文中采用的方法在保证图像镶嵌效果的基础上,在加速比、吞吐率等性能指标上有了显著提高,能够有效提高海量遥感图像的并行镶嵌效率。