大规模空间数据的高性能查询处理关键技术研究

被引量 : 0次 | 上传用户:tanyanlong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对地观测、GIS和传感器网络等空间数据获取技术的革命性进步、存储器价格的显著下降以及人们希望从空间数据中获取知识等客观需求,催生了大数据,空间数据管理技术迎来了大数据时代。传统的并行计算和空间数据库技术在应对容量大、类型多样的空间查询处理和分析挑战时,遇到了可扩展性差、支持类型单一等困难。近年来,Map Reduce技术异军突起,通过集群上的分布式并行计算获得良好的系统性能,并以高度的可扩展性,满足不断增长的数据量的处理需求,成为大数据分析的主流技术之一。因此,结合Map Reduce技术进行大规模空间数据的高性能查询处理成为一种发展趋势。最近以来,这一方向已经引起国内外学者的注意,开展了初步研究并取得了一定的成果,但为了取得更好的查询效果并满足实际应用需求,在关键空间查询算法设计及性能优化等方面均存在进一步探索的巨大空间。本文从实际需求出发,借鉴传统的并行空间查询算法和空间数据库技术,结合Map Reduce并行计算模型的特点,从以下四个方面对大规模空间数据的高性能查询处理技术开展了研究:1.并行计算模型抽象与空间数据建模为指导Map Reduce框架下并行空间查询算法的设计,对并行计算模型和数据存储模型进行了研究。首先,利用无依赖并行和串行同步计算的形式化定义抽象了Map Reduce并行编程模型,采用分阶段方法对各个阶段的代价模型进行分析;其次,针对Map Reduce框架下空间数据的存储需求,在分析空间数据信息模型和空间数据对象-关系存储模型的基础上,设计了空间数据的key-value存储模型并进行了实现。2.空间数据索引的并行构建针对大规模空间数据R-树索引的构建需求,提出了基于Hilbert曲线和随机采样的并行空间划分函数生成方法,利用生成的空间划分函数,使得大规模空间数据的R-树索引构建符合Map Reduce无依赖并行和串行同步的计算抽象,并设计了并行处理阶段的算法,最后从负载均衡、构建效率和构建质量等方面实验验证算法的可行性和高效性;其次,针对大规模批量遥感影像瓦片金字塔索引的构建需求,基于全球瓦片金字塔模型,提出一种基于分辨率和空间范围自动匹配的瓦片金字塔索引的生成方法,详细设计了Map阶段瓦片并行生成和Reduce阶段瓦片并行合并处理方法,并提出了一种过滤优化方法,最后实验验证了算法的高效性和可扩展性。3.空间数据的并行连接聚集查询在面向大规模空间数据的空间连接查询上,用户经常需要连接查询中的统计聚集信息。对此,提出了Map Reduce框架下两种不同条件下的并行连接聚集算法。首先,针对非索引条件下的并行空间连接聚集问题,提出了一种Map Reduce框架下的过滤合并(Map-Reduce-Filter-Merge,MRFM)方法,Map阶段利用空间网格将整个空间连接聚集任务划分为无关联的任务子集,Reduce阶段则对每个任务执行部分聚集的空间连接聚集操作,Filter阶段对单次分配空间对象的连接聚集结果进行过滤操作,然后Merge阶段对多次分配空间对象的连接聚集结果进行合并。其次,将R-树索引引入到空间连接聚集操作中,利用分布式R-树来索引大规模空间数据并生成任务集,然后利用任务连通图进行任务划分,使其符合无依赖并行计算模型,并设计了Map和Reduce阶段的并行处理算法,比非索引的空间连接聚集操作更加自然,并且性能得到提升。4.空间数据的并行k近邻连接查询Map Reduce框架下处理k近邻连接查询的核心在于数据的划分,现有方法主要采用数据块的划分方法,但执行时间随数据规模的增长呈平方项增长,导致查询效率不高。基于分布式R-树索引,提出一种Map Reduce框架下,面向大规模空间数据集的k-近邻连接查询算法,通过引入k-近邻扩展框来进行数据划分,限定k-近邻查询范围,以提高查询效率,并且利用R-树索引简化了k近邻连接查询处理。从理论上分析了提出算法的通信和计算代价。实验结果与分析表明,提出算法在真实数据集的查询上具有良好的效率和可扩展性,可以很好地支持大规模空间数据的k-近邻连接查询处理,具有良好实用价值。
其他文献
把党组织建在连队上,是中国共产党在革命战争时期取得一个又一个胜利的重要保障。党的基层组织建设,伴随着党走过了90多年的风雨历程,在取得革命、建设和改革的伟大胜利的进
由于我们国家给中小企业发放贷款的门槛比较高,利息也比较高,无法满足广大投资者的融资与投资需求,而与之产生鲜明对比的是,随着国民收入水平的提升,社会越来越多的闲散资拥
大豆蛋白质的摄入与人类数种慢性疾病的预防和治疗具有密切关系。目前,大豆分离蛋白的研究主要集中在加工功能特性的改善,但对于营养品专用的大豆蛋白研究较少。本文从营养组
大展弦比机翼具有升阻比大、翼内容积大的特点,广泛应用于民航客机、运输机和长航时无人机等航空飞行器。本文考虑大展弦比机翼柔性大的特点,采用高精度分析模型进行机翼气动
满足会计信息使用者的信息需求是会计存在与发展的灵魂。随着经济体制改革的深入和证券市场的规范与发展,现行财务报表表内内容已越来越不能满足人们对信息的需求,披露表外信
后国际金融危机时期,世界经济格局深刻调整,区域相互依存日益加深,新兴经济体地位整体上升。欧亚地区是推动经济全球化的重要力量,优越的地理位置、丰富的能源资源、巨大的市
中国东南部印支期花岗岩对亚洲大陆东部的演化具有重要的构造指示意义。在浙江东阳大爽以及松阳县东部靖剧地区发现两个印支期花岗岩体,大爽岩体和靖剧岩体。岩性为斑状石英
艺术离不开生活。艺术作品中的人物和场景也常常是取自生活故事中的原型,雕塑艺术也是如此。我们处在世俗的生活中,生活中的酸甜苦辣、冷暖万象都是我们可以信手拈来的创作题
文章结合模拟退火算法和遗传算法,研究了国产尘埃粒子计数器单分散粒子标定问题.模拟退火遗传混合算法收敛速度快,有效防止种群早熟现象,也显著提高了尘埃粒子计数器粒径分布
国有林场是我国培育和保护森林资源的基层单位,同时也是构建生态体系和林业产业体系的重要基地,在国家生态建设和社会经济中具有重要地位。森林资源是林业各项工作的出发点和