海量空间数据的分布式存储管理及并行处理技术研究

被引量 : 0次 | 上传用户:owen_climb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着空间数据规模的不断增长,空间分析和处理技术的复杂程度不断增加,使得对海量空间数据进行高效管理和处理的难度不断加大,迫切需要新的技术和方法来管理和处理海量空间数据。分布式存储和并行计算为解决上述问题提供了一种新的方法。本文针对当前空间数据存储和处理方法存在的若干不足,在总结应用问题和需求的基础上,着重在基于HBase的海量空间数据管理技术和海量空间数据并行处理方法等方面进行深入研究,主要取得了以下研究成果:(1)深入研究了空间数据存储系统与并行处理方法,为并行空间数据的存储与处理提供具体的理论指导,并指出了传统方法存储和处理海量空间数据存在的不足。(2)深入研究了架构在分布式文件系统上的存储系统HBase,为空间数据的分布式存储管理提供技术支撑。设计了适合分布式存储的并行索引,提出了基于HBase的空间数据管理方法,并通过与传统存储方法的对比实验,验证了HBase在海量空间数据分布式存储方面性能的优越性。(3)设计并实现了基于Map Reduce并行编程框架的海量空间数据并行处理引擎Map ReduceGIS。由于Map Reduce不直接支持空间数据的关系连接,设计了一种基于Map Reduce的并行空间连接方法。(4)开展了基于Map ReduceGIS的并行处理实验。通过对新增、读取、最近邻查询等操作的实验,证明了Map ReduceGIS在并行处理海量空间数据时具有较好的性能。
其他文献
我国城市已步入一个快速发展的阶段,但同时也面临着各式各样的城市病,如城市人口拥挤、交通堵塞、环境污染、城市特色消失、历史文化破环等等。旧城改造是城市建设中最为复杂
在无线网络管理中,经常会谈到CAPWAP协议的转发模式。对于思科的设备来说,最经典的莫过于Centralized Mode(中心转发)和FlexConnect(本地转发)模式。对于前者来说,当客户机连
近几年,人们在网络上的时间越来越多,因此广告主逐渐将投放媒体的重心转移至网上。另一方面,受众对广告的抗拒心理也越来越强,碰上已看过的广告,便会换台或者将注意力转移其
<正>7月2日,农业农村部副部长屈冬玉在国务院政策例行吹风会上指出,2015年国务院出台"互联网+"行动意见以来,农业农村部积极推动互联网在农业农村的应用,"互联网+农业"呈现出
"数据结构"课程是计算机专业的核心课程,也是非计算机专业特别是电子信息类专业的软件基础课程。本文针对电子信息类专业"数据结构"课程教学中存在的问题,根据实践情况,从课
<正>反函数是函数的一个有机部分,是高中数学的重要内容,也是教学中的一个难点。学习反函数的概念,必须建立在映射、函数、一一映射等概念的基础之上。通过教学,学生对具体函
会议
随着电子商务的快速发展,电子商务过程中物流的重要性日益凸显,通过物流及时、准确地完成商品的空间转移成为电子商务成功的关键。由于我国物流发展水平等因素的限制和相关标
火车因安全、快速、廉价等诸多优点成为重要的交通工具。火车的发展与铁路建设密不可分。由于我国原有线路客运量的大幅增长,城市现代化建设水平的日益提高,现代化交通工具及
新闻传媒行业的发展,互联网的普及,数字报纸、数字电视、手机报等新媒体的日趋成熟,对新闻媒体对新闻人才提出了更高的要求,传统的新闻人才培养模式已无法适应现代新闻传媒行
随着蔗糖价格不断上涨,食品加工企业不得不寻找一种新的甜味剂来代替蔗糖,果葡糖浆便成为了其中的首选。面对果葡糖浆行业前所未有的黄金机遇期,如何利用自身优势,进一步挖掘