面向路径分析与地形分析服务的分布式预处理技术

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hj12141
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着GIS空间数据采集技术的发展,地理空间数据迅速增长,体量愈加庞大。在进行路径分析、地形分析等空间分析服务时,面对的不再是小规模的数据集,而是大规模的数据集,导致在线空间分析服务效率低下,难以在短时间内响应用户请求。近年来,计算机科学发展迅猛,其中分布式计算技术的出现,为上述问题的解决带来了契机。本文基于实验室地图服务项目需求,为项目中的在线路径分析服务与地形分析服务提供预处理技术,帮助提升在线服务效率。由于项目中使用的空间数据规模较大,本文结合Hadoop分布式平台,提供了分布式的预处理技术,本文的主要工作如下:(1)针对大规模路网数据,基于其道路要素特性,设计并实现了一种结合Map Reduce的简单快速生成大规模路网图模型的方法,采用邻接表的数据结构作为这种稀疏图的表示方式。(2)基于路网图预先求解大规模图中点对间的最短路径。将MRA*算法实现并应用到路径分析中,结合实际,将路网图分割成基于圆的外包矩形的子图,Mapper阶段搜索各子图的最短路径,Reducer阶段合并生成最终的最短路径。预处理结果存储于HBase,以供在线路径分析服务查询。(3)基于地形DEM预先计算地形坡度坡向。设计并实现基于Map Reduce的地形坡度坡向分布式计算方法,Map阶段并行计算各DEM分片的坡度坡向,并且列切分为瓦片格式,在Reduce阶段存储瓦片到HBase,以供在线地形分析服务查询。最后,搭建Hadoop集群进行测试,从运行时间、加速比等方面进行对比分析,测试结果表明:本文的分布式路网图生成方式、分布式最短路径计算技术、分布式坡度坡向计算技术,较单机更高效更稳定;分布式方式,灵活可控,当数据规模增大时,可通过增加服务器节点数,方便地扩展计算资源,提升数据处理速度;本文的最短路径计算中引入了启发函数引导搜索,降低了搜索覆盖范围,避免了搜索许多不必要的顶点,较已有的Map Reduce-Dijkstra分布式方法计算用时更短。
其他文献
在机械中旋转机械最为常见且其在工业中的地位也非常显著,因其通常在恶劣的工作环境下并且长期运作,易损坏发生故障的概率极大,意外的故障会对工作人员的安全及经济的生产都
地理标志不仅是一个农产品的特色标识,并且是知识产权这棵大树上的一个重要树干。河南省著名优质农产品众多,有着丰饶的地理标志资源,占据着施行地理标志农产品发展的优质基础。但就目前河南省地理标志农产品的发展进程来说,地理标志数量偏低,与其农业地位并不相符。不论是在地理标志项目的开拓方面,还是在农产品当下的市场份额和经营范畴等方面。于此同时,地理标志农产品的消费者、生产者和经营者对地理标志方面还不甚了解,
以太网技术历经几十年的发展,以其高带宽、低成本、高集成度等优点,已成为一种民用环境中成熟稳定,不可替代的通信技术。随着工业以太网、车载以太网、时间触发以太网等概念的出现和发展,以太网技术的应用场景不断拓展,对以太网数据传输的实时性与可靠性也提出了更高要求。作为提供网络数据交互服务的核心设备,在航空航天、工业控制、汽车驾驶等特定领域,传统以太网交换设备提供的尽力投递服务显然无法满足需求,因此,对兼顾
随着改革的不断深入,各行各业都进入改革攻坚期。无论企业规模大小,在改革的大环境下都承担着各自的任务和使命。为适应新时代发展,企业必须不断根据内外部环境调整经营战略,合理规划企业的战略发展方向。对企业而言,人力资源是最重要、最活跃且唯一有创造力的资源,是企业在制定发展战略时必须考虑的首要因素。与国有企业相比,民营企业、中小企业管理相对灵活,但员工绩效考核制度不成熟、不完善,机制不健全的现象比较普遍。
2015年,两会提出“双创”理念后,“双创”的浪潮在中国大地上如火如荼,黑龙江省开展了两轮科技型企业三年行动计划,哈尔滨市承担全省大约三分之二的各项指标任务,随之,哈尔滨
光学成像技术是光学领域一个非常具有前景的方向,该技术已广泛应用于医疗诊断,遥感遥测,虚拟现实等场景中。随着生物医学成像,尤其是医用内窥镜的发展,面向高分辨率,低成本的超精细内窥镜成像成为了研究热点。多模光纤因其芯径小,内部传输模式丰富,信息吞吐量大,被认为是解决超精细内窥镜成像的理想传像媒介。由于多模光纤自身特殊的光学特性,导致原始图像经多模光纤传输后会形成高度随机化的散斑图案。如何由散斑图案恢复
房地产作为最受关注的行业之一,也是促进我国经济发展的重要因素之一,自2016年起,房地产企业正式迎来“营改增”时代。在房地产企业的产业链上涉及多个方面的业务,因此在交税时难免会出现重复或者遗漏税款的情况,而这次的改革主要目的是为了使税收方面的链条拼接起来,尤其针对抵扣项目上的缺失,使得整个增值税链条更加透明和完整,链与链之间紧密却又分明。同时盈利能力又是体现房地产企业综合能力水平的要素之一,通过“
煤炭生物转化是一种清洁的煤炭利用技术,具有反应条件温和,能耗低,环境友好的优点。从研究至今的四十多年里,煤炭生物转化技术得到了蓬勃的发展,但是却仍然存在一些问题,其中最为关键的是煤炭生物转化效率低。本文尝试利用基因工程技术对真菌进行改造以提高转化效率,为煤炭生物转化的工程应用提供技术参考。主要研究结果如下:(1)研究对象为实验室保存的一株煤炭降解真菌AH,ITS基因鉴定该菌为哈茨木霉菌(Trich
近年来,深度神经网络在计算机视觉以及自然语言处理等任务上不断刷新已有最好性能,成为最受关注的研究方向。然而深度模型的参数量巨大,存储成本和计算成本过高等原因却严重限制了其在嵌入式设备和移动设备上的部署和应用。本文从模型压缩的角度出发,将深度神经网络的裁剪和优化任务分为两部分:1)针对单个卷积层的模型裁剪技术;2)探究模型各层压缩组合的最优效果以及自动化。在此研究的基础上,本文设计并实现了一个具有普
随着汽车工业的快速发展,越来越多的人开始关注通过降低结构重量来实现节约材料、减少能源消耗。减轻车身重量,一方面可节约原材料的使用,另一方面,可减少燃油消耗、降低汽车