基于云平台的高光谱遥感大数据奇异值分解并行优化

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:powermill1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高光谱遥感技术利用地表物质与电磁波的相互作用及其所形成的光谱反射、吸收等特性,实现对地物的识别及环境的分析,被广泛应用于矿物勘探、环境变化检测和产品质量检测等领域。由于高光谱图像波段数众多,相邻波段具有较高的相关性,为了减小高光谱遥感图像的信息冗余度,有必要对高光谱图像进行奇异值分解。然而,传统的单机处理模式普遍都有数据量大、处理过程复杂、计算时空复杂度高的问题,很难满足日益增长的大数据量计算需求。云计算具有分布式计算能力和大数据处理能力,很好地解决了遥感大数据面临的单机瓶颈问题。本文研究了基于分布式架构的文件系统HDFS的文件读写流程、Spark分布式计算框架、RDD编程模型,并通过分析不同格式的高光谱遥感图像所对应的数据组织形式,设计了高光谱遥感大数据的并行读取方法。为了提高高光谱遥感大数据的奇异值分解效率,本文深入研究了基于Jacobi旋转的SVD算法以及基于张量Tucker分解的HOSVD算法,提出了基于云平台的SVD并行优化算法以及HOSVD并行优化算法。经实验结果验证,本文提出的基于云平台的高光谱遥感大数据奇异值分解算法具有较高的算法精度及算法效率。本文的主要内容包括:1、深入研究了基于Jacobi旋转的SVD算法,为了提高算法效率并且解决单节点带来的计算资源瓶颈问题,提出了基于云平台的高光谱遥感大数据SVD并行优化算法。本算法基于不同的高光谱遥感图像格式设计了对应的并行数据读取方法,通过将原始高光谱数据分割成一系列小块并使用Map Reduce编程模型进行分布式并行计算,极大提升了算法的速度。同时,在Jacobi旋转变换的过程中,将寻找矩阵最大元素值的范围缩小为上三角矩阵,进一步为了加快算法的收敛速度。2、深入研究了基于张量Tucker分解的HOSVD算法,提出了基于云平台的高光谱遥感大数据HOSVD并行优化算法。该方法将分块后的高光谱数据转换为一系列三阶张量分块,基于Spark Sql对结构化的张量数据进行模态展开、模态合并等操作,并根据高光谱数据的不同分块方式设计了不同的分块计算结果合并还原算法。实验结果表明,本算法在保证了较高的算法精度的前提下,获得了较高的算法效率。3、为了实现高光谱遥感大数据的高效处理,深入研究了OpenStack云计算资源管理工具、Mysql关系型数据库和基于分布式架构的文件系统HDFS,设计并实现了高光谱遥感大数据云平台。云平台的基础设施层通过OpenStack技术完成对CPU、内存、网络和存储等计算资源的虚拟化,并基于Linux Shell脚本技术实现了Hadoop/Spark云计算环境的自动化快速部署。业务层以HTML和Spring框架为基础,为用户提供简洁易用的web页面与云处理平台进行交互,具有较高的可扩展性及较低的模块耦合性。
其他文献
近年来,众包系统成为了工业界和学术界的研究热点。众包是通过将个人难以解决的工作任务,以自由自愿的形式交付给互联网中其他群体来完成的一种协同工作方式。众包能够充分利用网络资源,降低用工成本,提高生产效率。传统的众包系统以中心化架构为主,部署和数据存储高度集中,系统可靠性和数据安全性面临巨大的考验,并且当任务发起者和任务接受者发生争议时,需要依赖平台参与解决,缺少独立第三方的仲裁机制。本文设计并实现了
永磁同步发电机功率密度最高,但输出电压随转速变化,作为发电系统稳压控制困难,目前技术并不是十分成熟,且不能灭磁,在高转速情况下输出电压过高有一定的危险性。混合励磁发电机的功率密度介于永磁发电机和电励磁发电机之间,同时磁场可控,可以认为结合了两者的优点。随着对车载电机轻量化、大负载要求的不断提高,混合励磁电机其高功率密度特点越来越受到关注,并且逐渐有了一些应用场景。本文针对一款12k W混合励磁发电
创新是推动企业高质量发展的基石,随着国家能源互联网战略的实施和大数据技术的快速迭代与应用,提升电力企业大数据应用水平和创新能力,对推动能源互联网规模化发展和企业数字化转型有着重要的现实意义。现代社会专业化分工越来越细,创新仅靠个体智慧很难形成好的创意和技术突破,把人才汇聚起来,利用团队的力量驱动企业创新发展,才能保证企业在市场中的创新力和竞争力。因此,创新团队作为企业的创新型组织,加强创新团队建设
学位
学位
环氧丙烷(PO)作为第三大丙烯衍生物,仅次于聚丙烯和丙烯腈,是一种重要的化工原料。丙烯直接气相环氧化是近年来发展的一种新型PO制备工艺,具有绿色环保、操作简单等优点。然而该反应的催化剂Au/TS-1尚具有许多需要完善的地方,如丙烯转化率低、稳定性差、成本高等。本文主要对Au/TS-1催化剂中的载体钛硅分子筛(TS-1)展开改性研究。首先,对TS-1的合成方法进行改性,在合成体系中引入聚乙烯吡咯烷酮
利用苹果酸作为浸出剂,过氧化氢作为还原剂,对废旧三元锂电池正极材料有价金属进行浸出试验。通过条件试验,确定出最佳浸出条件为:固液比40 g/L,酸浓度1.2 mol/L,温度90℃,时间60 min。此时,Co、Mn、Ni、Li的浸出率分别为97.1%、99.8%、96.9%、98.7%。条件试验结果表明温度对浸出率的影响较大,因此,保持其他因素不变,在高压釜中进行了110℃条件下的浸出试验,Co
混凝土柱作为桥梁、水工建筑的重点承载部位,决定着整个结构的安全性能以及使用寿命。长期处于软水环境下的混凝土柱不仅受到钙溶蚀的化学作用,还会受外荷载的力学作用,这些行为对混凝土的力学性能和耐久性能产生着巨大的影响。然而,在自然溶蚀环境中,混凝土柱的钙溶蚀进程非常缓慢,仅仅通过实验短期内无法了解混凝土柱的损伤演变以及性能变化规律,因此建立混凝土柱化学-力学耦合损伤模型、有限元分析模型,并数值模拟钙溶蚀
脓毒症是感染引起的全身炎症反应综合征和免疫功能紊乱,其发展所致的多器官功能障碍是目前重症监护室(ICU)中的主要死亡原因。黄连(Coptis Chinensis)是一种具有多种药理活性的传统抗炎中药。本论文利用血常规检测、流式细胞术、酶联免疫反应试剂盒、肠道内容物代谢组学和16S r DNA测序技术研究了黄连灌胃后不同时间点对于脓毒症病理的保护作用。采用盲肠结扎穿孔(Cecum Ligation
遗留污染物多氯联苯(PCBs)和多溴联苯醚(PBDEs)及新兴污染物新型卤代阻燃剂(EHFRs)都会对环境和人体健康造成危害,受到人们广泛关注。对三类典型区域(太湖、化工厂区域、电子垃圾拆解地区域)76个表层沉积物样品中75种遗留/新兴污染物定量分析发现遗留/新兴污染物平均浓度均为电子垃圾拆解地区域(PCBs:58.5 ng/g、PBDEs:74.4 ng/g、EHFRs:8.62 ng/g)>化