基于Hadoop的分布式遥感图像处理研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:jsw10000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着卫星遥感和航空摄影技术的不断发展,人类获得遥感影像数据的方式越来越多,使得遥感影像数据朝着高分辨率、多时相、多波段的海量数据发展,导致遥感影像数据量呈指数增长。海量遥感影像数据的高效的存储、有效的组织、快速的处理计算已成为当今遥感领域研究的热点,分布式存储与并行计算为上述研究提供了有效的解决方案。近几年,Hadoop已成为最流行最成功的开源分布式系统框架,具有高可靠性、高扩展性、高效性及高容错性等优势,核心内容是HDFS (Hadoop Distributed File System)和MapReduce。越来越多的人使用Hadoop来解决海量数据的存储与计算问题,已在搜索引擎、电子商务、社交网络中取得了巨大成功。GDAL (Geospatial Data Abstraction Library)是一套栅格空间数据开源库,可通过插件对支持格式进行扩展。GDAL支持多数遥感影像格式读写,开发人员不需要考虑不同影像格式之间的差异,实现一套代码处理多种影像格式。结合GDAL强大的栅格支持能力和Hadoop强大的存储与计算能力,开发人员可以通过编写MapReduce程序提高对海量遥感影像的处理效率。本文结合理论研究和实际应用需求,根据GDAL读写图像的方式,对HDFS存储特点和MapReduce框架编程模式进行研究与分析,开发结合GDAL和Hadoop的遥感图像处理程序。本文研究内容和成果主要包括以下几个方面:一、分析MapReduce框架的编程模式,研究MapReduce处理文本数据的流程,结合GDAL实现了处理遥感影像的MapReduce库。二、对比单机、Hadoop集群及Hadoop集群不同情况下处理等量图像的最小距离分类效率。结果表明,计算数据量、计算成本及机器成本对遥感图像处理操作的效率具有较大的影响。因此,在考虑是否使用Hadoop集群以及Hadoop集群规模,需要综合考虑以上三个因素。三、由于Hadoop集群在处理单个大文件的效率优于同时处理等数据量的多个小文件,因此本文自定义聚合大影像文件格式,将多个影像聚合到一个文件中,减少HDFS上文件数量,提高元数据存储内存利用率和检索时间,实现MapReduce的每个任务处理多幅影像,提高每个任务的利用率,并以图像投影转换为例,进行Hadoop对比实验,验证聚合大影像格式的可行性和高效性。
其他文献
中共中央办公厅、国务院办公厅近日印发了《关于设立统一规范的国家生态文明试验区的意见》及《国家生态文明试验区(福建)实施方案》,并发出通知,要求各地区各部门结合实际认真贯
20世纪80年代,以马原为开头的先锋小说作家进行了一场叙事革命,他们在实践中完成了中国小说由"创作"向"写作"的转换。格非、苏童等人对马原的叙述策略有所发展,他们在语言实
中文语义标注在自然语言处理领域有广泛的应用,其目的在于挖掘并标注出中文多语义名词的多个语义。提出一种新颖的语义标注算法,通过在线URL分类目录,构建得到URL分类器。借助于
物理是以实验为基础的学科.在物理教科书中有演示实验、学生分组实验,还有每章都安排的小实验.通过这些小实验,可以开发学生智力,激发学习兴趣,培养学生的观察能力和实际动手操作的
以某款汽车遥控器外壳为例,结合计算机辅助工程、正交试验和方差分析研究了影响高温快速成型产品质量的工艺参数。结果表明:熔体温度对体积收缩率的影响最显著,其次是模具温
针对带随机需求的限量弧路径规划(CARPSD)问题,建立基于期望与方差的数学模型,设计一种概率型邻域搜索算法。采用随机路径扫描产生初始种群,构建最优解集。根据影响解的质量的4
为加强能源规划管理,规范省级能源规划工作,加强国家和省级能源规划衔接,近日,能源局依据有关规定研究制定并印发《省级能源发展规划管理办法》。《办法》明确,省级能源发展规划的
国家发展改革委和北京市人民政府联合在北京举办了2016年全国节能宣传周暨北京市节能宣传周活动启动仪式,国家发展改革委副主任张勇到会致辞,北京市副市长隋振江出席了启动仪
本刊讯2 018年3月28日,以“新时代社会治理:共建共治共享”为主题的第三届中英社会治理现代化研讨会在北京师范大学举行。此次会议由北京师范大学中国教育与社会发展研究院主办
从1904年爱因斯坦发现光电效应,到1954年诞生的世界首块太阳能电池,再到逐渐普及的光伏发电,已经历了一个多世纪的发展应用。同时,世界公路史在这段历史中也不断蜕变,公路网