论文部分内容阅读
随着信息技术的飞速发展,空间数据应用已经迈入网络化的信息服务时代,而海量空间数据高效管理是建立统一、可动态扩展、分布式空间信息服务中心,实现海量空间信息存储与共享,提供高效空间信息服务的基础。本文主要研究面向服务的空间数据管理关键技术,所做的主要工作及取得的成果有:1、总结了空间信息应用与空间数据管理的研究进展,分析了面向服务应用环境下海量空间数据高效管理相关技术的研究现状和发展趋势。提出了论文研究的基本思路,即:基于通用分布式文件系统和数据库,研究面向空间信息的专用文件系统和空间数据库管理系统,设计面向服务的多元海量空间数据一体化管理模型和技术框架,对其中关键技术进行改进和创新。2、论文利用开源通用分布式文件系统,顾及空间数据特点,针对地图瓦片、影像金字塔数据等文件数多、文件数据量小、数据访问具有空间局部性的特点进行改进,构建海量空间数据文件系统(MGFS),并采用小文件聚合和分布索引技术,解决通用分布式文件系统海量小文件管理能力不足的问题,提供海量文件高效存储和并发访问能力。3、在海量空间数据文件系统(MGFS)的基础上,设计了半结构化空间数据存储引擎(MGBase),结合关系数据库,提出了基于“MGFS+RDBMS+MGBase”架构的分布式空间数据库系统的模型与体系结构,建立适应空间信息特点的分布式空间数据库原型系统,针对空间数据的使用场景,设计了空间数据的Row Key编码原则,对空间数据物理存储优化设计,提供结构化、半结构化和非结构化的多元空间数据高效存储管理和并发访问能力。4、分析了分布式空间数据模型研究现状和空间数据应用场景,提出了海量空间数据模型设计要求。针对主要空间信息服务的不同数据要求,设计了面向显示、搜索、空间分析和数据服务的空间数据集,在此基础上,针对多种数据类型、多种尺度、多版本以及多种坐标系统的多元空间数据分别设计相应数据模型,并基于全球统一剖分编码、数据分级、数据分块和版本管理规则,构建面向服务的一体化多元空间数据模型,从而实现海量多元空间数据分布式高效管理,为上层空间信息网络服务提供大量并发用户对海量数据的高性能访问能力。5、分析了空间数据索引技术研究现状,在分布式空间数据组织模型基础上,结合全球剖分编码策略,设计了包括数据面片、数据层、数据块及数据块内索引的分布式空间数据多级索引方法,基于HHCode编码实现了地理目标索引的并行化改造,解决了空间数据索引并发创建和高并发条件下的数据高效访问问题。6、针对空间数据在并行入库、索引创建等处理过程中需要全局统一创建空图层、元数据信息以及进行目标ID生成等需求,在MapReduce并行处理框架的基础上,新增了Job生成与提交框架和Joint模块,构建了海量空间数据并行处理框架,解决了在Map、Reduce阶段各TaskTracker之间资源需求协调统一问题。7、开展了实验系统设计,设计了包括数据存储、数据查询、局部更新等内容的实验流程,开展了空间数据装载、并发访问、局部更新能力实验,验证了海量空间数据的分布式高效管理能力,并在此基础上针对测绘信息服务系统研制需求和新疆测绘信息数据中心建设,开展了典型空间信息服务实验。