论文部分内容阅读
云计算是互联网计算发展到一定阶段的产物,是并行计算、网格计算等多种新型计算方式演进的最新结果。云计算无限扩展的存储技术可以满足快速增长的空间数据对存储空间的需求,强大的计算能力可为空间信息的检索、处理、分析等提供高速的服务保证。本文针对GIS当前所面临的海量数据存储、处理、分析与持续服务等问题,结合GIS和云计算的特点,将开源Hadoop云计算平台应用到空间信息服务领域,研究利用Hadoop云计算平台提供的分布式存储能力和并行计算能力,构建基于Hadoop的GIS应用,并对其中的一些关键技术进行研究。本文主要工作如下:(1)在分析商业云GIS体系结构的基础上,设计了基于Hadoop的云GIS体系结构。体系结构包括物理设备层、平台层、软件层、应用层等4层,以及横跨多个层次的用户管理、服务管理、资源管理、监控系统、容灾备份、运营管理等服务。设计了基于Hadoop的云GIS部署模式。整个基于Hadoop的云GIS系统由平台管理门户、GIS Web服务器集群及多个Hadoop集群组成。分析了体系结构特点,为后面的研究内容奠定了基础。(2)本文在空间信息格网单元和OGC简单要素规范基础上,结合矢量数据的特点,利用格网单元ID的唯一性、多尺度性及索引性,提出了一种以格网单元为存储单位的矢量数据存储方案;结合矢量要素的定性属性数据,设计了矢量数据的存储格式“GWKT(Grid Well-know Text)”;为了达到矢量要素标识全球唯一,本文基于格网单元和Hilbert曲线的Base16编码,结合HBase数据库的特点,设计了矢量要素标识的编码,并实现了编码的生成算法;研究实现了基于单调链的矢量要素分割与合并算法,可有效的分割和合并线状和面状要素;在HBase基础上,扩展了HBase的数据类型及其过滤器,实现了属性数据的快速查询。(3)针对海量空间数据处理能力不足问题,设计了基于HDFS的矢量数据存储格式,实现了基于MapReduce的矢量数据分割入库并行处理模型;在MapReduce数据过滤器的基础上,设计了适合基于格网单元的空间数据并行计算模型,并以矢量数据缓冲区分析作为实例进行了验证;设计实现了基于MapReduce的kNN空间数据查询算法;分析了基于MapReduce的空间数据并行计算效率。(4)在空间信息服务方面,本文在OGC标准服务基础上,对服务参数进行了扩展,设计了云GIS空间信息服务分层体系结构,实现了基于空间信息多级格网的WMS、WMTS、WFS和WPS等服务;设计实现了空间信息服务接口,以实现客户端与服务器端的完全解耦。(5)在前文研究基础上,设计并实现了基于Hadoop的云GIS原型系统,完成了海量栅格与矢量数据的高效存储与管理、空间数据并行计算以及基于Hadoop的空间信息服务等关键模块;并对相关模块做了性能测试,验证了本文提出的相关存储模型和计算模型的可行性、有效性以及高效性。