矢量大数据管理关键技术研究

来源 :中国农业大学 | 被引量 : 0次 | 上传用户:luodks
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,数据己成为国家基础性战略资源的重要组成部分。随着GIS、RS、GPS等空间信息技术的飞速发展,空间数据的采集手段日趋多元化,地理信息技术在各行各业当中的应用也更加广泛和深入,由此也促使GIS大数据时代的到来。大数据是一把"双刃剑",高精度、广覆盖的矢量数据爆炸式的增长,为提升国家级宏观科学决策、社会监管、公共服务以及应急决策管理能力等方面提供了良好的契机;但同时如何有效地进行组织与管理大规模的矢量数据,使其发挥最大的效益,成为了目前实际应用当中迫切需要解决的难题。近些年来,云计算平台Hadoop的异军突起,基于分布式存储系统HDFS和并行计算系统MapReduce在大数据处理方面获得了良好的性能,成为大数据分析的主流技术之一。基于此,本文在大数据时代的背景下,借助云计算平台Hadoop的优势,结合我国土地行业信息管理系统的实际应用需求,针对矢量大数据管理关键技术及其应用模式,特别针对矢量大数据管理中的数据存储模型、空间索引、数据转换、空间查询、数据可视化以及耕地质量数据管理应用等方面开展了具体且深入的探讨和研究,提出了一套面向大规模矢量数据组织与管理的方法体系和关键技术,并通过实验验证了本文研究内容的可行性;同时设计与实现了云环境下全国耕地质量等别数据库管理原型系统,体现了本文研究成果的现实意义和实际应用价值。论文的主要研究内容包括以下四个方面:(1)矢量大数据云存储模型研究为满足云环境下矢量数据的处理和分析需求,本文结合矢量数据的特征以及Hadoop云平台的优势,提出了矢量大数据云存储模型——GeoCSV数据模型。首先,讨论了现有矢量数据存储模型的数据组织方式;其次,针对Hadoop分布式存储和并行计算模型的数据特征进行了研究,并在分析面向对象的空间几何要素模型的基础上,设计和实现了基于Key-Value的矢量数据云存储模型GeoCSV。(2)矢量大数据分布式R树索引方法研究为提高大规模矢量数据的检索效率,本文设计并实现了基于HDFS分布式存储系统的矢量大数据分布式R树空间索引。首先,在阐述空间索引原理的基础上,结合分布式存储的优势,讨论了云环境下空间数据分布式索引机制。其次,针对矢量数据的分布不均和数据量大小不一的特征,提出了基于空间编码的矢量数据划分策略,并基于此实现了分布式R树索引的并行构建。最后,通过实验从索引质量、负载均衡两个方面验证了不同分布式空间索引算法的效率和可行性。(3)矢量大数据并行处理方法研究基于以上研究内容,本文开展了矢量大数据并行处理方法的相关研究,主要包括三个方面:一是基于MapReduce编程模型实现了矢量数据的并行转换算法,将矢量数据从Shapefile文件格式并行转换到基于Key-Value模型的GeoCSV文本格式;二是,针对面向大规模的空间查询需求,设计并实现了矢量数据并行查询算法;三是,针对大规模矢量数据的快速可视化的应用需求,设计并实现了矢量数据瓦片金字塔模型的并行化快速构建算法;同时,结合实测数据对以上三部分处理算法进行了试验,验证了本文矢量数据并行处理算法的效率和可行性。(4)云环境下全国耕地质量等别数据管理应用基于以上开展的矢量大数据关键技术研究成果,本文结合土地信息系统行业实际应用需求,设计了云环境下全国耕地质量等别数据管理原型系统框架,并进行了实际软硬件环境的部署,对关键技术内容进行了测试和分析。通过该部分内容,一方面验证了本文研究内容的可行性;另一方面,也表明本文研究的内容具有一定的现实意义和使用价值。
其他文献
以添加50%马铃薯全粉的米粉为研究对象,比较分析了其与普通米粉在维生素、矿物质、膳食纤维、氨基酸等营养成分的不同以及食用品质之间的差异。结果表明,马铃薯米粉中粗蛋白
在建筑土木工程范畴内,土石方工程是其中一项重要的组成部分,而组成土石方工程的要素则主要包含了以下几点:基坑与管沟开挖、路基与人防工程开挖、地坪填土,路基填筑等环节。
<正>自平衡计分卡(Balanced Scorecard,BSC)首次由罗伯特·S·卡普兰和大卫·P·诺顿于《哈佛商业评论》发表问世以来,迄今已经走过了20个年头。在全球一体化的新经济时代,IT
采用文献研究法对有关医生工作倦怠的研究资料进行了分析与整合。研究者主要采取了四种研究视角,从影响因素与干预措施、后果等方面对医生的工作倦怠进行了研究。最后,针对研
城市土地集约利用潜力评价的目的是在城市存量土地的基础上,对现状土地利用状况进行综合分析和评价,测算城市土地利用的潜在增加面积。城市土地利用宗地集约利用潜力评价属城
红花为菊科红花属植物红花(Carthamus tinctorius L.)的干燥花,是我国传统中药。红花的化学成分按照结构包括黄酮、生物碱、聚炔、亚精胺、木脂素、倍半萜、有机酸、甾醇和烷
目的:从人口和地理角度评价湖北省城市社区卫生人力资源配置公平性。方法:通过使用调查表对湖北省各城市社区卫生服务中心及站的人力资源现状进行普查,利用Lorenz曲线及Gini
目的探究高龄结直肠癌合并糖尿病患者的围手术期护理效果。方法选择2011年8月—2014年9月在该院接受腹腔镜手术治的60例高龄结直肠癌合患者为研究对象,并依据其是否合并糖尿
近年来,随着越来越多的大科学装置的建设和重大科学实验的开展,科学研究进入到一个前所未有的大数据时代.大数据时代科学研究是一个大科学、大需求、大数据、大计算、大发现
基于分子结构设计原理,以甲基烯丙基聚氧乙烯醚(TPEG)、N-羟甲基丙烯酰胺(N-MA)为原料,加入自制含有较多羧基、羟基的功能大分子单体,采用自由基聚合方法,合成了兼有早强和保