基于Hadoop的遥感数据分布式存储研究

来源 :山东农业大学 | 被引量 : 0次 | 上传用户:lahaidong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着遥感技术的快速发展,多传感器、多时相、高空间分辨率、高光谱分辨率的遥感数据量也越来越多,数据类型也越来越复杂。传统的单机集中式数据存储方式无法满足高效、安全存储海量遥感数据的需求。因此,有必要探索一种遥感数据存储方式,以解决遥感数据膨胀带来的一系列问题。以Hadoop平台为基础的分布式数据存储技术为海量异构遥感数据的高效、安全存储提供了解决方案。本研究分别针对结构化数据和非结构化数据两种数据类型设计数据存储模型,其中在结构化数据节点中,部署基于Microsoft Visual Studio 2010和SQLServer 2008开发的结构化、关系型SQL数据库,用以存储近地非成像高光谱数据和属性数据;在Hadoop集群中,利用Hadoop分布式文件系统(Hadoop Distributed File System,HDFS),存储按照一定规则拆分后的卫星遥感影像数据块。为避免系统搭建过程中不必要的资源浪费,预先在虚拟环境下搭建伪分布式Hadoop集群,并在此基础上设计了卫星遥感影像数据存储模型和系统网络拓扑结构。为保证系统安全运行,在系统与用户之间引入Web服务器作为桥梁,实现了用户与系统的物理隔离,用户命令和系统数据均通过Web服务器转发;同时分别在不同层面上设置了如双电源、双硬盘、RAID 1、用户权限控制等系统安全机制。在千兆交换网内搭建包含Hadoop集群、Web服务器和结构化数据存储节点的分布式遥感数据存储系统,从而实现了遥感数据的分布式存储,并验证了系统的稳定性和高效性。主要研究结果如下:(1)实现了构化数据的存储。利用Microsoft Visual Studio 2010和SQLServer2008进行开发,设计了C/S模式的结构化数据管理系统,并部署在集群中的结构化数据存储节点中,可以实现近地非成像高光谱数据和属性数据这两种结构化数据的存储,进而实现结构化数据与非结构化数据的分离,减小了系统开销。(2)搭建了基于虚拟化平台的伪分布式Hadoop集群。利用虚拟机软件可以以传统PC机为硬件基础,虚拟出若干Hadoop集群节点,通过网络配置,实现Hadoop集群的伪分布式搭建。(3)设计了基于Hadoop的卫星遥感影像数据分布式存储模型和网络拓扑结构。通过对卫星遥感影像的递归四等分拆分编号的方式,可以在Hadoop集群中实现对整幅较大的卫星遥感影像数据的分布式存储,并形成“影像名-波段名-影像块名”的树形卫星遥感影像数据分布式存储模型。设计了星型网络拓扑结构,通过千兆交换机将各节点相连。(4)实现了非结构化遥感数据的分类型、分布式高效安全存储,并进行了系统性能验证。搭建了包含1个Namenode节点和13个Datanode节点的全分布式Hadoop集群、Web服务器和结构化数据节点遥感数据分布式存储系统。设计网络拓扑、业务流程和安全机制,实现了海量异构遥感数据的分类型、分布式高效安全存储。以一景数据量大小为885 MB的LandSat-8卫星遥感影像数据作为测试数据,分别测试单机数据服务器数据上传/下载速度和分布式系统数据上传/下载速度。分布式系统上传的平均速度为64.52 MB/s,单机数据服务器上传的平均速度24.48 MB/s。分布式系统的数据上传效率高于单机数据服务器的数据上传效率,且上传速度更稳定。分布式存储系统下载的平均速度为71.38 MB/s,单机数据服务器下载的平均速度31.52MB/s。分布式系统的数据下载效率高于单机数据服务器的数据下载效率。利用分布式系统可以实现对海量异构遥感数据的高效稳定存储,从而为更全面、更准确的遥感数据分析提供保障。
其他文献
近日,北京市两会落下帷幕。会议通过了北京市政府工作报告和2013年预算案,确定北京市2013年经济增长目标为8%,公共财政收入增长目标为9%。GDP增长目标与去年维持一致,公共财政收
报纸
近些年来,以信息技术为主的现代化科技向商业流通领域的全面渗透已成为世界性的趋势,利用现代信息技术已成为商业技术进步的核心内容,成为商界、科技界、产业界高度重视的领
玉米秸秆覆盖缓冲带是一项有效的坡面水土保持措施,为探究其减少细沟侵蚀的效果及水动力学机理,在室内人工模拟连续降雨条件下,选取黄土高原高强度侵蚀性降雨标准和细沟发育
采用布雷多克"7W"模型作为分析框架,以传播学为视角,研究了当前我国包括彩票在内的各种博彩参与者心理不健康成因及对策。研究发现,各个博彩传播主体——彩票发行机构、博彩
随着新一轮中外并购高潮的到来,投资银行将面,临巨大的发展空间。本文在分析海外投行并购业务最新特点的基础上,认为我国投行应该尽快转移业务重心、占领高端客户市场、主动
体育教师对学生体质健康测试结果利用是体育教师作为学生体质健康测试结果利用的主体,对《国家学生体质健康标准》结果利用价值的基本认识,并在此基础上通过各种途径的实际行
1病例报告患者,女,70岁。1998年11月在第二军医大学附属长海医院诊断为鼻咽癌。1999年3月在华东医院接受放疗1个月余。之后由于咽干、味觉减退、舌苔发黑,于2000年开始口服中
由于合作伙伴在做出最终投资决策方面的延误和筹集的不确定性,阿曼已于2019年5月10日决定无限期推迟与国际投资者在合资企业(JV)中建立精对苯二甲酸(PTA)和聚对苯二甲酸乙二
超高清晰度电视(UHDTV, Ultra-high Definition Television)技术将显示行业引入新的历史阶段,其57.29%的系统色域覆盖率更显示出超凡的颜色还原能力,有力推动了宽色域视频研
<正>一辆好跑车如果配上更好的引擎,那它会跑的更快。如同好马配好鞍,节能服务产业作为政策驱动型的产业,其快速发展一直离不开政策的支持。如何把握好政策脉搏,是节能服务产