基于HDFS的分布式海量遥感影像数据存储技术研究

被引量 : 0次 | 上传用户:nanometer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球对地观测技术的快速发展,遥感影像数据的规模成指数倍数的增长。同期我国开展了一系列基础专项和科研项目,如高分辨率对地观测系统等。这些项目的发展产生了大量的高分辨率遥感影像数据,传统的遥感数据存储管理技术面对TB级至PB级的数据存储问题越来越吃力。由此引发了人们对一系列的超大规模海量遥感数据存储问题的关注和研究。如何能够快速而高效的对海量遥感数据进行存取管理是未来几年内人们关注和研究的一个重要课题。本文针对如何能快速而高效的进行海量遥感影像数据存储管理的技术,进行了深入研究。选取了hadoop的分布式文件系统HDFS作为存储平台,对比了其他主流的遥感影像数据存储方案,在HDFS文件系统的基础上,针对遥感影像数据,引入了一些其他的优良机制,使之可以应用于海量遥感数据存储上。主要的研究内容包括:(a)对传统的遥感影像数据存储技术进行了分析,探讨了常用的传统遥感影像数据存储在面对迅猛发展的数据规模和数据多样性中存在的不足,对比了现阶段主流的分布式文件系统之后,选用了HDFS进行遥感数据存储技术研究。(b)介绍了传统的遥感影像数据存储方法—影像四叉树技术,传统的四叉树算法需要消耗大量计算资源,实时性和效率很难保证。因此,本文基于分布式文件系统的核心理念MapReduce算法,提出了四叉树快速构建算法,利用网格节点的计算资源快速构建四叉树。并提出了HDFS文件系统下的四叉树构建方式和构建策略。(c)设计了基于Hbase数据库的遥感空间数据存储模型,使之能够应用于HDFS分布式文件系统当中;针对HDFS只有单个元数据节点NameNode这种情况,所可能存在的系统稳定性问题,借鉴了目前主流应用系统的机制,采用双机热备的方式来保证系统的容错性;引入了Nagios管理插件,监控分布式文件系统中网格节点的性能信息,从而保证系统的稳定性。(d)为了解决海量数据的高效率服务问题,在参考了OGC的标准后,本文基于HDFS文件系统中设计了一套数据服务接口,并能够及时的反馈系统中的数据信息和系统状态信息。(e)基于上述的研究思路设计了实验,从而验证了本文改进策略和方法是有效的。研究结果表明了本文采用了基于HDFS分布式文件系统对遥感影像数据进行集中管理,针对HDFS而设计的高性能四叉树构建算法和数据存储模型,可以解决日益增长的超大规模海量遥感数据存储管理的问题。同时针对HDFS在存储管理数据过程中存在的问题进行的优化和改进,能够表现出比原有的系统更优的性能,因此这些优化和改进是有效的。
其他文献
隐私的概念在我国已经是人尽皆知,但是我国对于隐私权的立法工作却进展缓慢,2010年7月1日起施行的《中华人民共和国侵权责任法》只在第2条第2款中规定了隐私权,而没有关于隐私权
祸从天降,坠物夺命,安全护具成摆设。外表光鲜,不堪一击。头盔竟用垃圾造,记者调查,揭密劣质头盔生产内幕。头部是我们整个身体的中枢神经所在,是非常脆弱的,所以,在一些高危
预应力锚索是一种主要承受拉力的构件,通过钻孔将锚固段固定于深部稳定的岩土体中,并通过张拉锚索产生预应力,从而达到使被锚固体更加稳定和限制其变形的目的。由于预应力锚索具
3月31日全国青少年“未来之星”阳光体育大会(广东分会场)暨“中国体育彩票杯”广东省第三届青少年体育嘉年华在在广东省人民体育场盛大开幕。此次活动是由广东省体育局、广
全球化市场竞争环境激烈,企业都在寻求新的客户服务解决方案。如何进一步提高客户服务水平,维护老客户,拓展新客户,不断提高客户满意度和忠诚度,保持业务成交量持续增长和市
随着Web2.0技术的发展,各种类型的社会媒体如雨后春笋般先后出现,而微博,作为其中重要的一种类型,已成为人们之间相互沟通、传播信息的重要途径。由于微博存在一些特殊的性质
随着当今时代的快速发展,经济水平的提高,人们生活水平越来越好导致对物质需求大幅提升,消费方式也逐渐改善快时尚品牌吸收知名品牌的设计及风格,做出低价又时尚的服装并快速
随着现代文学的发展,我们对我国的传统文化也作出了相应的研究。中华文明五千年来,沉淀的文化底蕴值得我们去珍惜,也值得我们去不断的探索,在古代应用文有着其重要的文学价值
本文论述了舰载光电跟踪设备的概况,并强调了在发展高技术武器研制过程中舰载光电跟踪测量系统是不可缺少的关键测量设备。文章重点设计了光电跟踪转台的总体结构,同时介绍了
顾客体验是顾客通过与企业互动而产生的印象和感觉,它是一个整体的过程。一个理想的顾客体验必是由一系列舒适、欣赏、赞叹、回味等心理过程组成,它带给客户以获得价值的强烈