论文部分内容阅读
近年来,随着互联网技术和软硬件技术的不断发展,空间信息已经成为了现代数字城市建设的基础设施,是信息化建设不可或缺的组成部分。但随着地理信息服务建设的发展,也遇到了一些新的问题,例如:多用户并发访问系统扩展性较差、大规模海量数据处理支持不足等。这些问题给地理空间信息服务的深入发展带来了巨大挑战。云计算技术为地理信息服务提供了良好的发展契机,它为解决空间信息服务领域存在的一些难点问题带来了希望。但是目前主流的云计算平台对通用数据格式支持较好,对空间数据的存储、管理以及空间算法的支持方面存在明显不足。
本文将开源Hadoop云计算应用到空间信息服务领域,研究其在地理信息领域中应用所需解决的关键技术问题。针对当前Hadoop云计算平台对空间数据支持的不足,进行了地理空间数据存储、检索、索引、管理和处理方面的开发和扩展。在此基础上,设计和实现了一个地理信息云服务原型系统。主要研究内容如下:
(1)云计算技术原理和研究现状的介绍与总结系统总结了云计算的相关背景以及国内外研究现状等内容,详细介绍和分析了Hadoop云计算的HDFS分布式存储系统、基于列存储的HBase非关系型数据库以及MapReduce并行编程模型等核心技术。
(2)提出了Hadoop云环境中的矢量数据存储模型和矢量文件格式针对云计算环境下的空间数据存储问题,利用OGC简单特征编码规则(Simple Feature Coding Rules)对几何信息进行封装,发展了矢量空间数据存储模型。同时,按照MapReduce计算模型输入和输出的数据需要采用Key-Value格式的要求,构建了云环境下的矢量数据文件存储格式。
(3)实现了Hadoop云环境中的矢量空间数据处理通过分布式文件系统HDFS实现了矢量数据存储,结合MapReduce计算模型构建了最基本的矢量空间数据处理机制。同时针对HDFS分布式文件系统中数据随机读写效率差的问题,为了满足矢量空间数据实时访问的性能要求,采用R树空间索引算法,构建了Hadoop云环境下的空间数据分布式索引模式和更新机制。在此基础上,采用MapReduce并行计算模式实现了查询、增加和删除等基本的空间算子。通过试验比较,确定了直接基于HDFS+MapReduce的模式和利用分布式空间索引这两种不同的矢量数据处理机制的适用范围。
(4)构建了Hadoop云环境下的栅格数据存储和访问机制针对Hadoop云计算平台处理大量小文件效率低下的问题,构建了云环境下基于聚合图片文件的栅格数据存储和访问机制,以减少数据的访问次数,提高数据访问速度。同时基于列存储模型的开源分布式数据库HBase提出了云计算环境下的栅格数据存储和管理策略。
(5)提出了Hadoop云环境下的分布式矢栅转换技术针对单机环境下集中矢栅转换效率低下的问题,在Hadoop分布式集群环境下利用常用矢栅转换算法,研究提出了矢量数据动态分布式栅格化技术,构建了实时的矢栅转换机制。试验结果表明可以明显地提高矢栅转换的效率。
(6)研发了地理信息云服务原型系统按照地理空间信息共享使用的业务需求,研究设计了Hadoop云计算环境下的应用系统构建模式和方法,在此基础上研制实现了地理空间云服务原型系统,验证了论文提出的技术路线的有效性和可行性。