论文部分内容阅读
随着地理信息系统(GIS)在各行业中应用的不断发展,积累了大量GIS空间数据,数量级达TB甚至PB级。传统的GIS处理方式大都采用单机处理作业,对于空间信息处理这种计算密集型而言,空间信息处理往往需要提供强大的计算能力,然而当前的WebGIS、网格GIS等GIS应用,仍然受制于网络带宽、大用户量高并发等因素的影响,其处理效率已经严重制约了海量GIS空间信息处理应用的发展。加之传统GIS应用系统规模的不断扩展,迫切需要高可靠性和稳定性的GIS系统架构。
纵观GIS的发展历程,GIS的每次技术革命都离不开计算机技术的发展,从桌面GIS到组件GIS,再到WebGIS、网格GIS,每一次技术革新从系统架构到计算效率等都使GIS各方面都有了长足的进步和发展。近年来,云计算技术的不断发展和成熟,为GIS发展提供了一个新的技术和平台。云GIS的出现,将对GIS系统架构、数据存储、数据管理、空间分析计算、应用模式等产生重要影响,同时也为海量空间信息高效处理提供了一个新的发展方向。就目前云GIS在国内外的研究现状和发展趋势而言,云GIS尚处于初级阶段,即研究探索阶段。因此,论文结合GIS空间数据和Hadoop云计算平台做了一些基础性研究,构建了基于Hadoop的空间信息云处理框架,并运用MapReduce计算模型进行空间信息处理。
论文首先介绍了本次研究的目的和意义,系统的阐明了云计算的相关概念、关键技术和Hadoop云计算框架,分析了GIS的发展趋势、云计算国内外研究现状和发展趋势以及云GIS目前研究的主要内容和热点问题。为论文的研究建立良好的理论基础。
论文对GIS数据的HDFS云存储进行了相关研究。介绍了MapGIS的两种数据组织形式,分析了传统GIS数据存储的三个不同阶段,并阐述了关系型空间数据库的诸多弊端。提出了两种云计算环境下GIS空间数据HDFS存储策略—文本存储策略和GML、KML存储策略,并对该策略中的点要素、线要素和面要素HDFS存储进行了详细的说明,并阐述了HDFS中的数据备份策略。
论文重点研究了Hadoop云计算环境下的GIS空间数据云计算策略。详解介绍了MapReduce计算模型,并以此展开给出了split、JobTracker、TaskTracker的相关概念以及split与HDFS数据块block的关系。论文着重讨论了map和reduce过程及其任务运行机制,并结合GIS空间数据的HDFS存储,详细阐述了点要素、线要素和面要素在Map阶段的数据解析方法,为空间信息云计算的实现提供了可行性的解决方案。在此基础上,提出了基于Hadoop的空间信息云计算的实现流程。最后,讨论了云计算平台中的处理数据量大小、计算节点规模、计算节点并行处理的map任务规模等因素对Hadoop云计算环境下的空间数据云计算执行效率的影响。
为了验证Hadoop云计算环境下的上述理论和方法的可行性和正确性,以Hadoop云计算环境下点要素缓冲区分析为应用实例。设计了实验系统总体框架,介绍了MapGIS微内核DCServer,并在Dell刀片服务器上部署了Hadoop+DCServer云计算环境。本论文对海量点要素数据进行计算,并得到了预期的计算结果,验证了上述理论的可行性和正确性。在实验中,本研究采用多组多次实验,并对实验结果进行了系统的分析,也进一步验证了Hadoop云计算环境下的空间信息执行效率的影响因子。