多粒度遥感大数据计算方法研究

来源 :长安大学 | 被引量 : 0次 | 上传用户:wb_0622
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着遥感成像方式多样化以及数据获取能力不断增强,遥感数据已经呈现出多源化和海量化的特征,遥感传感器的空间分辨率、光谱分辨率、时间分辨率也在不断提升,遥感大数据时代已经到来。遥感大数据使得长时间、大空间、高精度的对地观测研究成为可能,也对传统遥感数据处理方法提出新挑战。海量遥感数据处理往往需要耗费大量时间和人力物力,传统数据处理方法已经无法满足遥感大数据的分析应用需求。在一般应用场景下,遥感影像处理涉及到多个步骤,如常见的数据预处理、地图代数计算和机器学习分类等,这些算法特点不同,计算方式各异,导致在遥感大数据时代所面临的问题差别很大。因此,在遥感大数据实际应用过程中,需要充分考虑不同计算步骤下的算法特征,根据不同类型算法所面临的效率问题,提出综合性遥感大数据计算方法,解决实际应用中所面临的问题。本文以荒漠化信息提取作为遥感大数据典型应用场景,分析影像预处理、地图代数计算和机器学习分类三个步骤所面临的大数据计算问题,提出影像、瓦片、像元三种粒度的分布式计算方法,提高遥感影像分布式计算效率,在充分考虑遥感影像数据空间特征和深入分析大数据相关研究的基础上,对不同限制条件下改善大数据计算效率的方法开展研究,具体研究内容和结论如下:(1)在遥感影像的预处理阶段,针对历史遥感算法难以支持主流大数据计算框架,重新开发实现并行化困难、移植性差、无法满足海量遥感数据快速处理等问题,本文提出使用Docker容器技术封装和运行遥感算法镜像,根据遥感算法特征设定镜像管理与分发策略,基于Kubernetes集群容器管理引擎将封装后的算法程序分布式部署和运行,实现以影像为最小计算粒度的分布式处理,提高历史遥感算法程序的计算效率。在实验部分,封装了大气校正程序,在不同计算节点数量和集群并行度条件下开展实验,研究表明扩展节点能够极大提高计算集群计算效率,选择合适程序运行并行度,也能够有效提高分布式计算效率。(2)对于地图代数计算而言,数据本地化率是影响分布式计算效率的主要因素之一,因此对其存储优化能够有效提高计算效率。为了解决遥感影像分布式存储时未充分考虑其空间特征,从而引发临近数据被切分存储在不同节点,导致涉及临近信息计算时数据本地化率低问题。本文在研究分析不同数据切分方法以及空间索引技术的基础上,提出一种瓦片数据分配策略,充分考虑遥感数据空间、维度以及集群资源特征,确保空间临近瓦片存储到物理位置相近的节点,降低计算时的数据迁移成本,同时完善数据冗余存储策略,提高涉及临近信息分布式计算的算法效率。在实验中,比较不同节点数量和数据量下优化数据分配后的效率提升,结果表明节点数量和数据量越多,优化数据分配后的临近计算效率会越高,证实优化数据存储在分布式计算中对计算效率提升所起的重要作用。(3)针对分布式遥感影像机器学习算法实现复杂和各种机器学习模型组合应用困难的问题,本文基于Spark框架实现以像元为最小粒度的分布式计算,通过适应Spark MLlib算法库的数据组织要求,最终实现了对于整个分布式机器学习算法库的支持,进而提供了同一平台下多机器学习模型组合应用的能力。通过实验比较了不同节点和不同数据量下的分布式计算效率,结果表明在有限集群资源环境下,数据量增加会导致计算时间猛增,通过增强硬件条件能够有效提高计算效率,降低数据量对于计算耗时的影响。(4)将本文提出的遥感大数据计算方法应用到荒漠化信息提取具体实践中,实现了大数据技术支撑下的荒漠化信息快速提取,最终完成了蒙古国西北部区域的荒漠化信息提取。
其他文献
近年来,随着线上订购、同城配送服务行业兴起,外卖配送员成为线下配送服务的主力军,其出行工具以电动自行车为主。外卖配送员是特殊的交通参与者,外卖配送员是城市非机动车出行的重要组成部分,在配送出行中交通违规行为比较常见,其中闯红灯行为不仅影响城市的文明形象,还引发许多交通事故。目前国内很少有针对外卖配送员群体交通安全相关的研究,因此有必要探究这一群体的交通安全问题。本文以外卖电动车骑行者的违规过街行为
随着电力需求日益增加,电网的规模不断扩大,电网的拓扑结构也越来越复杂;与此同时,以风能和太阳能为代表的可再生能源作为智能电网的发展重点之一,具有高度的不确定性。上述
误差矢量幅度(EVM)作为调制信号质量评价的关键指标之一,可以更全面地衡量调制信号质量。而如今测量EVM量值的工具主要是频谱仪、矢量分析仪等,是在频域内进行测量,该方法比较成熟,测量过程简单。但由于仪器厂商不同,EVM测量没有形成统一的规范和标准;且这些仪器之间相互校准,是一个不可溯源的闭环。因此,有必要实现EVM的溯源测量。本文选择示波器作为调制信号的可溯源测量仪器,搭建了测量系统,构建了基于示
本文运用切斯特曼翻译规范理论作为理论指导,对民间文学著作《白族神话传说集成》选例进行分析。该著作总共包含四个章节,主要涉及云南白族神话,历史,宗教信仰文化以及农业等方面,是洱海地区口头传述文化的代表,文化因素丰富,极具研究价值。为了推介《白族神话传说集成》这一著作,同时也为了传播云南少数民族文化,作者首次将选篇译为英文,并将切斯特曼翻译规范理论运用于翻译报告中。在文学翻译中,系统全面的翻译指导思想
泡沫病毒(Foamy Virus,FV)是逆转录病毒科(Retroviridae)泡沫病毒亚科(Spumaretrovirinae)的唯一成员,其在体外感染细胞会出现细胞病变反应(Cytopathic effect,CPE)而使细胞
光伏晶硅废料(PSW)是光伏产业硅锭切割过程中产生的固液废弃物。由于近年光伏产业的迅猛发展,大量的晶硅废料被产生,给环境治理带来巨大压力的同时也造成了废料中硅和碳化硅等不可再生资源的浪费。目前,通过已有的线上回收设备可将光伏晶硅废料进行固液分离和初步回收。但在初步回收后仍会存在以碳化硅和高纯硅粉为主的二次废料被遗弃。为将废料完全利用,本课题以光伏晶硅二次废料为主要原料制备多孔碳化硅陶瓷,并研究其相
为解决我国水稻产区稻谷收获季节面临的占道晒粮问题,减少稻谷因干燥不及时造成的损失,提高联合收割机能量利用率,探索一种利用联合收割机排气余热辅助远红外在机干燥谷物的新技术。为了探寻不同的收割条件和干燥目标下,干燥能流的分布对干燥性能及能量利用率的影响规律,获取干燥室内稻谷、热风及远红外多场合耦合机理,对热风辅助远红外稻谷干燥的机理及能耗平衡进行了分析,以联合收割机的粮箱与提升搅龙为主体,通过对其提升
随着我国城市化建设和基础设施设备养护的深入推进,路灯清洗工作变得日益迫切。目前多靠人工或者半人工式进行清洗,是城市环保中的一项艰巨而繁重的任务,虽投入巨大仍严重不能满足实际清洗需求。论文围绕路灯清洁技术,开发自动化路灯清洁装置,设计路灯清洗装置的接触力调节结构及其接触力控制系统。主要内容如下:(1)介绍路灯清洗的研究背景和研究意义,分析主要的清洗方式及存在的不足,调研污染物粘附机理、清洗技术及产品
在分子筛生产工艺中会产生大量废液,其中有大量的原料没有被利用,主要含模板剂、硫酸钠,此外含有少量的硅酸根离子与偏铝酸根离子。如果分子筛母液直接被作为废弃液处理,不仅
抗菌肽(Antimicrobial peptides,AMPs)是一类存在于多种生物先天免疫系统中,并由特定基因编码的具有抑菌活性的小分子多肽。在抗生素滥用导致耐药性问题频发的今天,拥有独特