论文部分内容阅读
随着全球对地观测技术的快速发展,遥感影像数据的规模成指数倍数的增长。同期我国开展了一系列基础专项和科研项目,如高分辨率对地观测系统等。这些项目的发展产生了大量的高分辨率遥感影像数据,传统的遥感数据存储管理技术面对TB级至PB级的数据存储问题越来越吃力。由此引发了人们对一系列的超大规模海量遥感数据存储问题的关注和研究。如何能够快速而高效的对海量遥感数据进行存取管理是未来几年内人们关注和研究的一个重要课题。本文针对如何能快速而高效的进行海量遥感影像数据存储管理的技术,进行了深入研究。选取了hadoop的分布式文件系统HDFS作为存储平台,对比了其他主流的遥感影像数据存储方案,在HDFS文件系统的基础上,针对遥感影像数据,引入了一些其他的优良机制,使之可以应用于海量遥感数据存储上。主要的研究内容包括:(a)对传统的遥感影像数据存储技术进行了分析,探讨了常用的传统遥感影像数据存储在面对迅猛发展的数据规模和数据多样性中存在的不足,对比了现阶段主流的分布式文件系统之后,选用了HDFS进行遥感数据存储技术研究。(b)介绍了传统的遥感影像数据存储方法—影像四叉树技术,传统的四叉树算法需要消耗大量计算资源,实时性和效率很难保证。因此,本文基于分布式文件系统的核心理念MapReduce算法,提出了四叉树快速构建算法,利用网格节点的计算资源快速构建四叉树。并提出了HDFS文件系统下的四叉树构建方式和构建策略。(c)设计了基于Hbase数据库的遥感空间数据存储模型,使之能够应用于HDFS分布式文件系统当中;针对HDFS只有单个元数据节点NameNode这种情况,所可能存在的系统稳定性问题,借鉴了目前主流应用系统的机制,采用双机热备的方式来保证系统的容错性;引入了Nagios管理插件,监控分布式文件系统中网格节点的性能信息,从而保证系统的稳定性。(d)为了解决海量数据的高效率服务问题,在参考了OGC的标准后,本文基于HDFS文件系统中设计了一套数据服务接口,并能够及时的反馈系统中的数据信息和系统状态信息。(e)基于上述的研究思路设计了实验,从而验证了本文改进策略和方法是有效的。研究结果表明了本文采用了基于HDFS分布式文件系统对遥感影像数据进行集中管理,针对HDFS而设计的高性能四叉树构建算法和数据存储模型,可以解决日益增长的超大规模海量遥感数据存储管理的问题。同时针对HDFS在存储管理数据过程中存在的问题进行的优化和改进,能够表现出比原有的系统更优的性能,因此这些优化和改进是有效的。