面向高性能计算的WebGIS模型关键技术研究

来源 :中国地质大学 | 被引量 : 0次 | 上传用户:sii923
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
国土资源部发布的《国土资源部中长期科学和技术发展规划纲要(2006-2020年)》明确将“地理信息系统”列为空间对地观测技术发展领域优先主题之一。该纲要的提出从国家宏观决策层面上将地理信息系统及其关键技术的研究提升到了前所未有的高度。网络地理信息系统(WebGIS)作为地理信息系统的重要组成部分,通过互联网技术实现地理空间信息的网络发布与管理。随着“数字城市”、“数字中国”地理空间框架和信息化测绘体系的构建,WebGIS已成为实现地理信息共享、提供在线服务的主要技术手段。随着对地观测系统的发展与进步,人们可获得的地理空间信息呈现出爆炸式的增长,较多行业和部门的空间数据量都达到TB甚至PB级,这给WebGIS的发展带来了巨大的挑战。目前的WebGIS初步实现了基于网络的空间信息服务,但由于系统存在性能瓶颈,无法从根本上解决海量空间信息服务所面临的各种难题,导致目前很多拥有丰富空间数据的行业和部门无法将其空间信息进行网络发布并提供给公众使用,使这些行业和部门在空间信息化发展上受到严重制约。因此,我们亟需构建一种面向高性能计算的WebGIS模型(High Performance Computing WebGIS Model, HPCWM),并对该模型中多个重要问题进行攻关,从根本上解决我国经济发展各个领域空间信息共享服务所面临的众多难题。一个具有高性能计算能力的WebGIS模型必须具有以下重要特性:1、WebGIS模型要具备高性能计算能力,海量空间数据的支持是关键,同时也是前提条件。由于单个服务器结点能够管理的空间数据量是有限的,因此必须使用网络中多个空间数据库服务器结点分布式存储和管理大规模的空间数据。在实际应用中,可以按数据所属专题、年代、用途等进行分类,将海量的空间数据分开部署到各个结点。WebGIS模型必须有一种通用和有效的结点元数据发布、检索、调度和同步机制来实现海量空间数据的分布式组织和管理。2、必须具备大用户量并发访问任务的并行处理能力,WebGIS系统中的并发请求任务调度机制是影响WebGIS模型性能的关键因素,任务调度算法的优劣直接影响WebGIS服务的响应能力。具备高性能计算能力的WebGIS模型不仅体现在并行计算能力方面,还必须综合考虑任务分配策略的合理性和公平性,因此必须有一个良好的任务分配调度算法,能对并发请求任务进行高效合理的调度。3、WebGIS模型要具备均衡服务器负载的能力,利用GIS服务器集群是一个简单快捷且有效的方案,集群中各个服务器结点负载是否均衡是衡量集群性能的一个重要指标。一个具备高性能计算能力的WebGIS模型,必须能够在大用户量并发访问情况下能有效的均衡服务器负载。4、必须具备最大化利用服务器并行计算资源的能力,计算机硬件更新换代迅速,一般一年升级一次,目前主要流行的服务器已配置8核、16核甚至更多核心的CPU,服务器的并行计算能力不断提高,为WebGIS服务并发性能的提升奠定了硬件基础。WebGIS模型要具有高性能计算能力,必须针对多核服务器进行并行计算优化,使其能够充分利用服务器并行计算资源,以达到缩短任务平均响应时间的目的。5、必须具备大型空间数据计算任务智能分解能力,具备高性能计算能力的WebGIS模型应具有一种任务分解机制能针对大型空间数据计算任务进行智能分析和分解,将需要大量计算的复杂GIS功能在WebGIS服务器集群中进行分解,调度所有服务器结点同时并行处理同一大型计算任务,缩短服务响应时间。本文的研究是十二五国家科技支撑计划课题“地理空间信息工具集服务平台研发(2011BAH06804)”的重要组成部分,主要目的是对现有WebGIS模型进行分析,研究一种面向多核集群并发环境下的高性能WebGIS计算模型,对海量空间数据实时高效发布、集群并发任务处理、大型空间计算任务智能分解等关键技术进行重点攻关,最终提升现有WebGIS计算模型并行处理性能,解决服务器资源利用率低、负载不均衡、难以支持大规模空间数据高效网络发布的问题。本文主要进行了以下研究工作:1、分析了WebGIS目前面临的一系列技术瓶颈与挑战,在此基础上提出面向高性能计算的WebGIS模型(HPCWM)研究的必要性,分析了国内外在面向高性能计算的WebGIS模型方面的研究现状,并从网络信息技术、WebGIS技术、硬件设备和软件开发技术的发展四个方面对HPCWM研究的可行性进行了分析。2、研究了WebGIS软件体系结构的演变过程,提出了传统WebGIS体系结构、面向服务的WebGIS体系结构、GIS服务器独立的WebGIS体系结构和基于服务器场的WebGIS体系结构存在的不足,分析了HPCWM体系架构产生的必然性,根据WebGIS高性能需求给出了一种面向高性能计算的WebGIS模型框架,并提出了HPCWM需要解决的三大关键技术问题。3、总结了空间数据现有网络发布方式并分析了各种技术的缺陷,提出并研究了HPCWM海量空间数据组织与调度策略,并对其实现机制进行了详细阐述,从海量空间数据分布式部署、如何实现实时调度等方面进行了深入研究,并对HPCWM中如何利用缓存优化性能进行了研究,提出了三层缓存体系,对海量空间数据大用户量并发访问进行优化。4、为了处理大用户量的并发访问请求,WebGIS要具有高性能,其中重点就要体现在是否能够对并发访问请求进行有效合理的分配,能否充分利用服务器的并行计算资源,本文提出并研究了基于响应比优先调度的任务分配方法,根据任务等待时间和执行时间计算任务的响应优先级,根据优先级顺序来进行任务调度,然后针对服务器多核特点提出了基于多核优化的并发任务调度技术,目的是充分利用服务器的多核处理器资源,提高服务器的并发处理能力,文中对并发任务调度技术进行了测试分析,测试结果证明本文提出的并发任务调度方法能有效的提高WebGIS的并发处理能力,它是面向高性能计算的WebGIS模型的关键技术之一。5、本文针对目前大规模空间数据在处理过程中耗时问题提出了HPCWM大规模空间计算智能分解和负载均衡方法,其目的是采用一种任务分解算法将大规模的空间计算任务进行公平的分解,将其公平分配到多个服务器处理结点进行并行处理,充分发挥服务器集群的优势。重点研究了大规模矢量数据可视化任务的任务分解技术,采用内容网格化技术,通过矢量数据内容网格自动分析和识别矢量数据的真实分布情况,通过网格扫描和聚合,实现可视化范围的公平分割并将其分发到多个服务结点并行处理,成倍的缩短了服务的平均响应时间。6、为了验证本文提出的HPCWM的可行性,笔者在HPCWM模型关键技术的基础上设计研发了一个具有高性能处理能力的WebGIS软件——IGServer,对该软件的体系架构、功能组成等进行了介绍,并详述了该软件针对高性能计算的系统设计策略,验证了本文研究内容的有效性和实用性。本文的研究工作取得了以下主要成果:1、解决了海量空间数据高效网络发布问题为了使具有海量空间数据的行业和部门进行高效网络发布,本文对海量空间数据的实时组织与调度策略进行深入研究,重点研究了海量空间数据的实时动态生成和快速展现技术,解决了传统WebGIS预裁瓦片耗时和海量空间数据网络展现效率低的问题。2、解决了传统WebGIS模型负载不均衡问题为提高WebGIS系统对大用量并发访问的支持,解决了现有WebGIS系统在任务分配和调度上存在的缺陷,增强了终端用户的使用体验,本文对WebGIS中的任务调度机制和负载均衡技术进行深入的研究,解决了集群中各服务结点间负载不均衡问题。3、实现了大规模空间数据计算任务智能分解和调度为适应大规模空间数据计算,解决目前WebGIS不能胜任大型空间数据计算任务问题,本文对大规模空间数据计算任务特点进行了深入分析和研究,重点研究了大规模空间数据可视化内容分布的自动识别技术,解决了大规模空间数据计算任务公平分解问题。同时研究了集群服务结点并行计算技术,调度所有服务结点对大型空间数据计算任务进行并行处理,解决了传统WebGIS大型空间计算任务处理能力弱的难题。4、提高了WebGIS模型的并行处理能力为使WebGIS适应目前多核计算技术的发展,解决目前WebGIS服务不能充分利用和发挥服务器多核并行计算能力的问题,本文对WebGIS服务引擎进行了并行计算优化,充分利用CPU多核计算资源,提高了单服务结点的并行处理能力,从而达到提高整个WebGIS集群的大用户量并发访问响应能力的目的。综上所述,随着WebGIS应用领域的不断扩展和需求的逐渐深入,对WebGIS性能方面的要求主要集中在两个方面,一是大用户量并发访问请求,二是大数据量的网络发布性能。由于传统WebGIS存在的上述性能瓶颈,无法从根本上解决海量空间信息共享服务所面临的各种难题,导致目前很多拥有丰富空间数据的行业和部门无法将其空间信息进行网络发布并提供给部门内部或公众使用,使这些行业和部门在空间信息化发展上受到严重制约,直接影响了我国空间信息化进程的推进。本文构建的面向高性能计算的WebGIS模型(HPCWM)对该WebGIS中存在的多个重要问题进行了攻关,以满足我国经济发展过程中各部门和各行业的面向网络的空间信息共享服务需求,解决地理信息系统在应用和发展进程中存在的性能瓶颈问题,具有其重要的科学意义和实用价值。HPCWM关键技术的研究涉及到地理上分布的众多实体,因此,要完整、高效地解决WebGIS空间信息共享和性能瓶颈问题,需要依托于一个宽广的技术领域。本文将地理信息系统技术与计算机软件技术相结合,通过对面向高性能计算的WebGIS模型框架、海量空间数据的实时组织与调度、集群负载均衡、大规模空间计算任务分解以及任务并行处理等关键技术的研究,构建了一个面向高性能计算的WebGIS模型。利用HPCWM模型可以为各行业各部门实现海量空间信息资源高效网络发布和全面共享提供支持。本文的研究成果将解决WebGIS海量空问数据网络发布过程中出现的一系列性能与效率问题,大大提高空间数据服务的获取能力,为空间信息化各领域内构建海量空间信息集成与共享服务平台提供基础软件支撑,为其他领域内构建空间信息集成与共享服务平台提供很好的参考价值,无论从理论研究还是实践应用都具有重要的学术价值及应用前景。
其他文献
立式螺旋搅拌粉磨机在当今工业领域内作为一种主要的超细粉碎设备,在各个行业中得到十分广泛地应用,其粉碎效率很大程度上决定着企业的经济效益。本文以矿料最小极限挤压应力
随着科技的不断进步,经济的快速发展,大众传媒正逐渐覆盖人们生活的各个方面。人们在工作学习中随时从大众传媒中获取各类信息,而且大众传媒还成为了影响思想政治教育的一个重要
中美BIT谈判始于1980年,在搁浅了近20年后,2008年,中美BIT谈判正式重启。虽然两国高层都高度重视此次谈判,但时至今日谈判依旧未果。2012年10月底,中美两国开启了第七轮中美BIT谈
近几年来,随着互联网信息技术的飞速发展和广泛应用,全球信息化步伐的不断加快,网络信息技术在政府部门的应用越来越广泛,政府信息化得到了包括我国政府在内的世界各国政府的高度
共同侵权一直是侵权法领域的重大课题。自共同侵权行为制度产生以来,理论界和实务界对其探讨就没有停止过。其中,最重要也是最多的探讨便是针对共同侵权的本质,即“共同性”。对
高职教育资源配置是对我国高职教育资源全局性、长远性的谋划。研究高职教育资源配置,对于促进高职教育事业协调发展,满足人民群众高职教育需求,建设社会主义和谐社会具有重
随着煤炭开采的高速度发展,解放水体下压煤,对煤炭资源的充分利用意义重大。水体下采煤,由于受到覆岩移动变形破坏的影响,容易形成导水裂隙,这样地表水和地下水就有可能溃入
如今随着社会经济的发展和大众传媒的发达,“性感”、“美丽”、“时尚”等女性标签被不断强化,甚而被“塑造”。女性时尚杂志就是塑造女性形象的一个平台,时常将美女经过符号建
聚甲醛(POM)作为一种优良的工程塑料,素有“夺钢”、“赛刚”之称。POM的硬度、刚性和强度可与金属媲美,并且在很宽的湿度和温度范围内都具有良好的自润滑性能和耐疲劳性能,以及很
钻石具有优秀的光学特性和物理特性,摩氏硬度达到天然矿物的最高等级10,折射率为2.417左右,色散值高达0.044.这些物理特性,让钻石成为了当之无愧的宝石之王。但是,钻石并不是