论文部分内容阅读
高光谱遥感是遥感技术的前沿,其蕴含的丰富波谱数据使得地物的定量检测成为可能[1]。在“遥感找矿面临的新挑战”为主要议题的第302次香山科学会议上,一致认为高光谱遥感技术增强了遥感的对地观测能力和地物识别能力,极大的提高了遥感技术的定量化处理能力[2]。高光谱遥感技术使遥感从对地物的鉴别发展到可对地物的直接识别阶段,利用高光谱遥感数据进行矿产探测是遥感技术应用的主要方向之一,已经广泛地应用于资源勘查、灾害监控和环境监测等方面。随着我国“高分”专项的实施以及“资源一号”02C卫星的成功发射和在轨运行,高光谱数据源获取的瓶颈问题将逐步得到解决。高光谱遥感数据包括了空间、辐射和光谱三重信息[3],行业应用中的数据量已经达到TB级,已经达到海量数据级别。数据的海量特性严重制约了应用的拓展和实际工程应用效率的提高。如大小为30000*30000的卫星遥感图像,如果采用传统的串行方式进行校正,其运算量将达到数百亿次浮点乘加操作;大量数据操作和处理的复杂性决定了高光谱遥感图像数据处理具有很强的计算性,普通计算机和价格昂贵的专用硬件系统远远无法满足遥感数据处理日益增长的需求。此外,高光谱遥感图像的预处理、校正、分类、填图等应用算法十分复杂,这些因素都严重制约了实际行业应用中矿产勘查工作开展的效率。高性能计算是计算机发展的重要技术之一,也是解决海量数据处理效率低的有效方法,在很多大数据量计算领域已经得到了运用,但是对于海量高光谱遥感数据的高性能计算而言,由于高光谱遥感数据对应几百乃至上千波段不等的数据,波段之间的数据具有关联性,需要将光谱维数据和空间维数据综合使用[4],进行并行处理时,简单的追求计算速度在应用端反而会造成约束。此外,由于计算机内存限制,读取海量数据时的分块操作也必须考虑光谱维和空间维的统一。本文研究了海量高光谱遥感数据处理方式,并针对高光谱遥感图像特点提出适合CUDA(Compute UnifiedDevice Architecture)和MPI(Message Passing Interface)两种并行环境下并行处理的模型,形成适用于并行环境的高光谱遥感高性能计算优化策略。同时以高光谱遥感混合像元分解以及降维处理算法为例,进行算法的高性能并行化改写,分别构建了基于CUDA和MPI的并行开发架构,设计开发了高性能高光谱遥感混合像元分解处理算法及相应程序,集成了计算机软件及高光谱遥感处理的方法技术,是进一步开展高光谱遥感其他处理方法的高性能计算研究的基础,可以为社会经济可持续发展和矿产资源勘察工作提供技术支撑。最后,对基于MPI/CUDA混合并行模式下的数据处理方式进行了理论研究,建立了混合并行环境下的数据计算模型。主要研究工作如下:(1)研究了适用于并行环境下的海量高光谱遥感数据金字塔模型。(2)研究海量高光谱遥感数据的优化读写算法,突破了商业化软件对海量数据源提取方法源代码的保护。(3)研究并设计了基于GPU的高光谱遥感数据处理并行模式,并以混合像元分解处理方法的并行算法为例程序实现并测试,包括:无约束最小二乘法、和为1的部分约束最小二乘法、端元投影向量法。(4)研究并设计了基于MPI的高光谱遥感数据处理并行模式,以降维处理的并行算法为例进行了验证,包括主成份分析(PCA)以及最小噪声分离(MNF)算法。(5)对于CUDA+MPI混合并行环境下的算法设计和数据计算模型进行了理论研究,为深入研究高性能计算在高光谱遥感中的应用打下了坚实基础。