云计算环境下海量矢量数据的高效存储与并行叠置分析

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:Gloria_SHU
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着越来越多大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代,大数据时代产生的空间大数据集对海量矢量数据的高效存储与计算提出了诸多挑战。传统的解决方案是采用关系型数据库与Arc SDE协同管理的模式,该模式将数据存储在单台机器上,这在很大程度上限制了数据的存储能力和计算能力。云计算环境下提供的分布式存储与高性能并行计算技术是一种有效的解决方案。基于云计算的这种特性,论文从云计算环境下如何对海量矢量数据进行高效存储与高性能空间分析角度展开研究。重点研究了海量矢量数据在Hadoop云平台下的存储模型、索引构建、数据快速导入、快速查询以及高性能空间分析中的并行叠置分析技术。具体围绕以下几个方面展开:(1)首先,论文在阐述该项目的研究背景及立项依据的基础上,综述了相关领域的研究进展,即地理空间大数据的存储技术、地理空间分析算法并行化技术以及地理空间大数据的负载均衡技术,全面分析了当前国内外对地理空间大数据在云环境下的分布式存储与高性能并行计算技术的研究进展与应用。另外,论文对研究中的相关技术理论进行了详细概述,为论文后续的研究提供了基础理论与技术支持。(2)其次,基于Hadoop云平台下的分布式非关系型数据库HBase构建了海量矢量数据的组织与存储策略。利用Hilbert空间填充曲线优秀的空间聚集性,对空间范围内的格网进行Hilbert曲线填充;结合空间要素对象所在格网的Hilbert编码与图层编号,设计了满足分布式非关系型数据库HBase存储规则的Row Key值;根据矢量数据在HBase下的存储规则特征,确定了该规则下的矢量数据存储表、二级索引表结构以及基于Hilbert编码设计了一种并行区域查询算方法。另外还构建了一种基于Spark的矢量数据并行导入方法。(3)再次,研究了Hadoop云平台下高性能并行空间分析中负载均衡策略,并以叠置分析算法为例,提出了一种顾及数据计算复杂度的矢量空间数据划分方法。针对高性能并行空间分析中传统矢量空间数据划分方法的划分结果不能反映实际计算量,容易导致数据倾斜的问题,论文从矢量空间数据结构特征及空间分析算法特征角度思考,研究数据密集型和计算密集型空间分析算法的计算量复杂度模型,用以指导矢量空间数据的均衡划分;通过分析不同算法类型的原理与特征,筛选出影响算法计算效率的影响指数,构建矢量空间数据计算复杂度模型;基于该复杂度模型设计了一种高性能并行空间分析数据划分策略。(4)最后,基于Hadoop云平台设计并实现了一个海量矢量数据存储与计算原型系统,实现了海量矢量数据的分布式存储与并行叠置分析。并基于原型系统通过实验验证了本文提出的矢量数据并行导入、并行查询以及顾及计算复杂度的数据划分策略的合理性性及有效性。
其他文献
免授权频段LTE(LTE in unlicensed spectrum,LTE-U)技术将LTE系统部署到免授权频段,可以增加LTE系统的频谱使用资源。但是,LTE系统所采用的媒体访问控制(Medium Access Control,MAC)协议将会对已在免授权频段部署的Wi-Fi系统产生严重干扰。为了与Wi-Fi网络更加友好的共存,3GPP提出了采用先听后说(Listen Before Talk
随着5G商用化的到来,大量的5G应用如虚拟现实、远程医疗等开始出现,这对通信链路的可靠性、高效性提出了新的挑战。在通信链路的研究方法中,信道建模是一种分析、评估通信链路的有效方法。通过信道建模可以对信道特性进行定性或定量分析。因此信道的精确建模是十分重要的。传统的信道建模方式依靠信道测量完成,利用统计性的建模方法得到信道特性。但室外场景下测量周期长、人力消耗巨大,而且需要昂贵的设备作为支撑。作为确
随着医用纳米材料的迅速发展,越来越多的含铁纳米材料被科学家们设计用于临床医学治疗,铁基纳米材料在传统纳米材料基础上有诸多革新性的特点,有的甚至已经用于临床医学应用,包括生物传感、成像、细胞标记和药物递送等领域。首先,本研究选择了一种近年来被广泛应用于药物载体领域的铁基材料——铁多酚(TA-Fe3+),通过一系列评价手段对它本身及它的降解产物之一单宁酸(TA)进行深入的血液相容性评价测试。此外,我们
随着百姓对汽车的需求越来越高,汽车的NVH性能也是百姓在购买汽车时考虑的重要指标,同时汽车的NVH性能也是各大企业主要关注的重要问题。驾驶员所听到的车辆在加速行驶过程的噪声主要是由发动机本身引起的。在车辆研发过程中,复杂的结构和各系统间相互耦合的特性极大地增加了车辆噪声控制的难度和工作量。因此,控制汽车加速工况下的车内噪声有着重要的实际意义。针对汽车加速行驶中的实际噪声问题,结合某企业紧凑型SUV
《论语》是闻名中外的儒家经典著作,其中承载的“仁礼”观是孔子思想的核心,是中华文化的精髓,所蕴含的人本精神、规则理念及德育价值观,与新时代社会主义核心价值观相契合。社会主义核心价值观是培育现代公民文明素养的内在精神源泉,在社会实践中,社会价值与个人价值相互依存,紧密联系,社会价值是个人价值的基础,社会价值通过个人努力而实现,因此,发扬优秀中华传统文化,通过社会核心价值观培育文化新风尚,离不开个人的
我国是世界产棉大国,2017年我国棉花产量达549万吨,其中新疆棉花产量占74.4%。随着农业现代化不断发展,棉花自动化种植和机械采棉成为主要发展趋势,就机采棉相对人工采棉而言
电力行业是关系国家社会经济发展,关乎国家民生的重要基础性行业。负荷预测是电力系统日常运行和控制的一项重要基本工作。准确的负荷预测不仅是进行供电交易计划及调试计划的必要条件,而且能够满足人们日常的用电需求,降低发电成本,保证电网安全稳定运行。然而电力负荷会受到诸多因素的影响,如温度、季节、政治经济政策等因素都会对预测结果造成影响,增加了电力系统负荷预测的难度。本文阐述了电力系统负荷预测研究的背景意义
网络信息技术的飞速发展,尤其是web2.0技术的日益普及,使得社会化媒体的发展迈入新纪元。现阶段,已有众多的高校利用社会化媒体平台外界进行信息交互,但其信息的传播影响力参差不齐。高校社会化媒体作为互联网信息时代下将高校与校内外用户连接在一起的主流社交媒体,逐渐成为各个高校开展校内信息服务、对外发布信息的官方渠道之一。因此,高校如何运用社会化媒体平台与外界进行信息交互,是评价高校社会化媒体运营效果的
随着计算机软硬件水平的不断提高,计算机视觉技术的研究得到了充分发展,目前在各行各业里都有广泛应用。光流法是处理运动图像序列的重要技术手段,计算得到的光流包含物体在真实世界中的结构、位置及空间运动信息,可以用于物体的定位与识别,因此在自动驾驶、视频分割和视频语义理解等领域都有重要的应用。光流可以为其他计算机视觉任务提供丰富的底层信息,其精度和稠密度对各类应用具有重要的影响。传统光流方法的运行速度通常
同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是实现移动机器人自主运动的关键技术之一。由于视觉传感器具有成本低、功耗低、体积小等优点,因而视觉SLAM研究迅速在移动机器人自主定位与导航领域得到了广泛的应用。其中,闭环检测作为视觉SLAM系统中的关键部分,对消除机器人位姿估计过程中的累积误差和减少已构建地图的不确定性尤为重要。然而,由于移动