基于Hadoop云计算平台的地理信息服务若干关键技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:bblp520a
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网技术和软硬件技术的不断发展,空间信息已经成为了现代数字城市建设的基础设施,是信息化建设不可或缺的组成部分。但随着地理信息服务建设的发展,也遇到了一些新的问题,例如:多用户并发访问系统扩展性较差、大规模海量数据处理支持不足等。这些问题给地理空间信息服务的深入发展带来了巨大挑战。云计算技术为地理信息服务提供了良好的发展契机,它为解决空间信息服务领域存在的一些难点问题带来了希望。但是目前主流的云计算平台对通用数据格式支持较好,对空间数据的存储、管理以及空间算法的支持方面存在明显不足。   本文将开源Hadoop云计算应用到空间信息服务领域,研究其在地理信息领域中应用所需解决的关键技术问题。针对当前Hadoop云计算平台对空间数据支持的不足,进行了地理空间数据存储、检索、索引、管理和处理方面的开发和扩展。在此基础上,设计和实现了一个地理信息云服务原型系统。主要研究内容如下:   (1)云计算技术原理和研究现状的介绍与总结系统总结了云计算的相关背景以及国内外研究现状等内容,详细介绍和分析了Hadoop云计算的HDFS分布式存储系统、基于列存储的HBase非关系型数据库以及MapReduce并行编程模型等核心技术。   (2)提出了Hadoop云环境中的矢量数据存储模型和矢量文件格式针对云计算环境下的空间数据存储问题,利用OGC简单特征编码规则(Simple Feature Coding Rules)对几何信息进行封装,发展了矢量空间数据存储模型。同时,按照MapReduce计算模型输入和输出的数据需要采用Key-Value格式的要求,构建了云环境下的矢量数据文件存储格式。   (3)实现了Hadoop云环境中的矢量空间数据处理通过分布式文件系统HDFS实现了矢量数据存储,结合MapReduce计算模型构建了最基本的矢量空间数据处理机制。同时针对HDFS分布式文件系统中数据随机读写效率差的问题,为了满足矢量空间数据实时访问的性能要求,采用R树空间索引算法,构建了Hadoop云环境下的空间数据分布式索引模式和更新机制。在此基础上,采用MapReduce并行计算模式实现了查询、增加和删除等基本的空间算子。通过试验比较,确定了直接基于HDFS+MapReduce的模式和利用分布式空间索引这两种不同的矢量数据处理机制的适用范围。   (4)构建了Hadoop云环境下的栅格数据存储和访问机制针对Hadoop云计算平台处理大量小文件效率低下的问题,构建了云环境下基于聚合图片文件的栅格数据存储和访问机制,以减少数据的访问次数,提高数据访问速度。同时基于列存储模型的开源分布式数据库HBase提出了云计算环境下的栅格数据存储和管理策略。   (5)提出了Hadoop云环境下的分布式矢栅转换技术针对单机环境下集中矢栅转换效率低下的问题,在Hadoop分布式集群环境下利用常用矢栅转换算法,研究提出了矢量数据动态分布式栅格化技术,构建了实时的矢栅转换机制。试验结果表明可以明显地提高矢栅转换的效率。   (6)研发了地理信息云服务原型系统按照地理空间信息共享使用的业务需求,研究设计了Hadoop云计算环境下的应用系统构建模式和方法,在此基础上研制实现了地理空间云服务原型系统,验证了论文提出的技术路线的有效性和可行性。
其他文献
《中国经济快讯》编辑部:企业改制是当前国有企业的中心工作,如何搞好改制后企业的党风廉政建设是当前需要积极研究探索的重要问题,下面就此谈几点粗浅的看法:一、加强对企
用心飞行,无远弗界,不役于形,乃能超越。每每看到刘恚君老师的作品,首先想到的就是这个句子,这,也是我最欣赏的句子。《短暂的花季》、《冲向自由的鱼》、《自寻烦恼》......
近年来,城市化的发展在给人类生活带来便利的同时也产生了诸多的生态问题,其中城市热环境问题较为突出,而城市森林在改善城市热环境方面发挥着重要作用。阔叶林作为森林的重要组
本文在分析国民经济金融运行态势、矿业发展趋势、有色金属产业现状的基础上,研究了有色金属产业金融调控的新框架。研究表明:⑴当前我国经济金融环境改善、运行态势良好,有色金
近50年来随着全球温度的升高,作为气候系统中的一个重要组成部分的冰雪圈发生了显著性的变化。北极地区的海冰显著减少,同期欧亚大陆春季积雪也显著减少,1979-2009年间环北极
随着全球气候变化研究的不断深入,土壤水分逐渐成为研究全球干旱和全球降雨等气候现象的一个重要思路。同时,土壤水分是地球科学研究中各个分支的一个重要参数,是气象学和水文学
诗是什么?在诗歌早已被“边缘化”的今天,“诗是什么”这个议题本身还有意义吗?在一个讲究“实际”,关心“实效”,注重“实用”,崇尚“实力”的“务实”时代,在拜金主义大行其道的社
本文通过对荣华二采区10
期刊
石漠化是制约岩溶地区社会经济发展的主要因素之一,石漠化综合治理工程引起的土地利用变化改变了土壤呼吸条件和地表植被覆盖条件,进而对生态系统的各项服务产生影响,为揭示区域
今年“七一”前夕 ,在中国共产党建党79周年之际 ,省委邀请全省部分先进基层党组织和优秀党员、优秀党务工作者以及老红军代表 ,举行座谈会 ,隆重纪念党的生日 ,畅谈对学习江