基于hadoop的空间信息云计算研究与实现

来源 :中国地质大学(武汉) | 被引量 : 0次 | 上传用户:yuming_wu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着地理信息系统(GIS)在各行业中应用的不断发展,积累了大量GIS空间数据,数量级达TB甚至PB级。传统的GIS处理方式大都采用单机处理作业,对于空间信息处理这种计算密集型而言,空间信息处理往往需要提供强大的计算能力,然而当前的WebGIS、网格GIS等GIS应用,仍然受制于网络带宽、大用户量高并发等因素的影响,其处理效率已经严重制约了海量GIS空间信息处理应用的发展。加之传统GIS应用系统规模的不断扩展,迫切需要高可靠性和稳定性的GIS系统架构。   纵观GIS的发展历程,GIS的每次技术革命都离不开计算机技术的发展,从桌面GIS到组件GIS,再到WebGIS、网格GIS,每一次技术革新从系统架构到计算效率等都使GIS各方面都有了长足的进步和发展。近年来,云计算技术的不断发展和成熟,为GIS发展提供了一个新的技术和平台。云GIS的出现,将对GIS系统架构、数据存储、数据管理、空间分析计算、应用模式等产生重要影响,同时也为海量空间信息高效处理提供了一个新的发展方向。就目前云GIS在国内外的研究现状和发展趋势而言,云GIS尚处于初级阶段,即研究探索阶段。因此,论文结合GIS空间数据和Hadoop云计算平台做了一些基础性研究,构建了基于Hadoop的空间信息云处理框架,并运用MapReduce计算模型进行空间信息处理。   论文首先介绍了本次研究的目的和意义,系统的阐明了云计算的相关概念、关键技术和Hadoop云计算框架,分析了GIS的发展趋势、云计算国内外研究现状和发展趋势以及云GIS目前研究的主要内容和热点问题。为论文的研究建立良好的理论基础。   论文对GIS数据的HDFS云存储进行了相关研究。介绍了MapGIS的两种数据组织形式,分析了传统GIS数据存储的三个不同阶段,并阐述了关系型空间数据库的诸多弊端。提出了两种云计算环境下GIS空间数据HDFS存储策略—文本存储策略和GML、KML存储策略,并对该策略中的点要素、线要素和面要素HDFS存储进行了详细的说明,并阐述了HDFS中的数据备份策略。   论文重点研究了Hadoop云计算环境下的GIS空间数据云计算策略。详解介绍了MapReduce计算模型,并以此展开给出了split、JobTracker、TaskTracker的相关概念以及split与HDFS数据块block的关系。论文着重讨论了map和reduce过程及其任务运行机制,并结合GIS空间数据的HDFS存储,详细阐述了点要素、线要素和面要素在Map阶段的数据解析方法,为空间信息云计算的实现提供了可行性的解决方案。在此基础上,提出了基于Hadoop的空间信息云计算的实现流程。最后,讨论了云计算平台中的处理数据量大小、计算节点规模、计算节点并行处理的map任务规模等因素对Hadoop云计算环境下的空间数据云计算执行效率的影响。   为了验证Hadoop云计算环境下的上述理论和方法的可行性和正确性,以Hadoop云计算环境下点要素缓冲区分析为应用实例。设计了实验系统总体框架,介绍了MapGIS微内核DCServer,并在Dell刀片服务器上部署了Hadoop+DCServer云计算环境。本论文对海量点要素数据进行计算,并得到了预期的计算结果,验证了上述理论的可行性和正确性。在实验中,本研究采用多组多次实验,并对实验结果进行了系统的分析,也进一步验证了Hadoop云计算环境下的空间信息执行效率的影响因子。
其他文献
  Globally the amount of electricity generated from renewable energy sources is increasing.To integrate high amount of fluctuating energy into the existing en
会议
  Full ceramic anodes have been widely considered as alternatives to the state-of-the-art Ni-YSZ cermets in solid oxide fuel cells(SOFCs)because of their high
会议
  The effect of grain size on the microstructure and dielectric properties of Ba0.4Sr0.6TiO3(BST)ceramics with various grain sizes in the range of 350~1640nm
会议
  Spin coating technique was performed to deposit composite ferroelectric films which were composed of Poly(vinylidene fluoride)(PVDF)and surface-modified bar
会议
  Energy storage ceramic capacitor was developed in electric vehicles and hybrid vehicles in the last few years.Due to the work environment,overall performanc
会议
  Strontium titanate(SrTiO3)was successfully coated on the surface of barium titanate nanoparticles(BaTiO3 NPs)via a sol-gel approach.Microstructure and eleme
会议
  Ferroelectric/polymer composites have much potential application in the embedded capacitors and highpower energy storage devices,due to their combining high
会议
森林凋落物是森林生态系统重要的碳库和养分库,对维持森林生态系统结构和功能具有极其重要的作用。凋落物分解影响着土壤碳储量、有机养分矿化、无机养分含量和碳平衡。研究
国土资源监管范围广阔、对象复杂、任务繁重,社会经济的快速发展对国土资源监管需求越来越高,当前的土地资源监管方式难以满足社会经济的快速发展。土地违法行为向着违法手段多
  Generally,high performance thermoelectric materials should have both low thermal conductivity and high power factor.Current state-of-the-art thermoelectric
会议