协作式大规模地理栅格数据并行处理方法研究

来源 :首都师范大学 | 被引量 : 4次 | 上传用户:epigeige
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
以高分辨率遥感卫星为代表的新一代数据获取技术取得了较大进步,地理栅格数据在时空分辨率、数据类型、覆盖面积等方面不断提高,为地理应用提供了更多的数据信息,然而这些提高也带来数据量几何级增长,但同时也致使传统的遥感数据处理方法无法满足大规模地理栅格数据计算与分析需求。因此,研究面向大规模地理栅格数据的高性能计算方法与体系,进而为提高开发效率和解决复杂地学问题的能力具有十分重要的意义。为了解决大规模栅格地理数据并行处理所面临的难题,本文系统研究高性能计算架构下大规模地理栅格数据并行处理方法,引入MPI (Message Passing Interface)和MP (Multi processing)作为基础并行环境,研究栅格数据处理算法程序必备的功能和必须的流程,综合所有算法的共性,采用设计模式思想,构造符合面向对象程序基本原则的系统框架体系,构建一种协作式大规模栅格数据的并行处理框架(Cooperative Big Geographic Raster Data Parallel Processing Framework, CBGRDPPF),并结合地理栅格数据并行类型与复杂度等处理任务特点,探讨了在此框架下进行地学栅格数据处理任务的协同处理方法和技术,分析不同参数和环境对其运行速度、并行效率的影响,实验验证局域并行效率,实现对并行处理框架的优化,从而建立一种解决复杂地学问题的并行开发协作模式,为地理栅格数据的高效处理提供一种新的解决方法和技术支撑。本文的主要研究成果体现在如下几个方面:(1)提出了一种大规模地理栅格数据并行处理算法的并行解耦方法以MP工和MP作为基础并行环境,将地理栅格计算部分和并行计算支撑部分分别进行抽象和封装,作为相互协作的部件予以松耦合地装配和执行,有效地分离并行计算体系与地学问题的强耦合。(2)构建了协作式大规模栅格数据的并行处理框架在地理栅格数据并行处理机制及并行解耦方法研究的基础上,建立了适合于协同开发的数据块分块、分发、缝合的数据类模型,为实现地学栅格数据协同并行奠定了基础;建立了核心算法的封装类模型及开发策略,实现了代码开发与算法细节分离,保证了并行计算与分析应用工作的协同。(3)提出了基于并行解耦思想的地理栅格数据全局计算并行化方法针对内存一次无法装载的大型栅格地理数据却要进行地理栅格数据的全局计算,分析地学处理算法原理,基于CBGRDPPF框架利用对数据的横向、纵向划分、过程数据的分块暂存等策略,使各个并行进程在占用有限的内存空间情况下,分块依次处理整个栅格数据,大大降低了开发算法程序的复杂度,从而实现复杂并行地理数据计算任务高效并行。(4)提出了基于并行解耦思想的地理栅格数据动态计算并行化方法动态计算主要是指一些栅格数据的聚类算法步骤未知,计算过程动态迭代。本文通过FCM算法为代表的聚类算法,基于CBGRDPPF框架,通过数据多策略的划分、序列化读取、计算同步和广播机制,实现一种动态计算的地理栅格数据并行处理方法,从而解决了不平衡计算量的并行化问题。
其他文献
目的:通过临床观察,评价内补黄芪汤加减联合拔毒祛瘀通络膏治疗糖尿病足(气阴两虚,瘀毒阻络证)的临床疗效及诊治的安全性,为糖尿病足的治疗提供新的数据和诊治思维。方法:根据纳入与排除标准进行筛选符合条件的患者70例,对入组患者进行临床随机分组,共为2组。对照组(35例)给予内科常规治疗及创面清创后消毒包扎,治疗组(35例)在内科常规治疗的基础上服用汤药内补黄芪汤加减,及创面清创后予拔毒祛瘀通络膏外敷包
近年来,随着科学技术的发展,数字产品逐步走入人们的生活和工作之中。数字信息的存储与传播十分便捷的同时,也导致了非法使用问题日益突出。因此,如何保证数字产品的信息安全
安全性是产品的重要性能之一,为了更好地进行产品的安全性设计,以及提供安全性设计的思路与方法,本文从人机工程学的角度分析了插排产品的安全性设计。首先论述了产品的安全
近年来,随着各种超精密及微细加工技术的不断发展,对表面形貌测量技术的要求也越来越高。因此涌现出了大量的测量方法,在这些众多的测量方法中,数字全息技术以其高精度、非接
不同产品市场企业的进入或退出是市场竞争中不可避免的过程。在生产技术飞速发展的今天,大多市场为完全竞争市场或垄断竞争市场,企业经受着“适者生存”的考验,然而如何进入
目的:分析6野的动态调强(dIMRT)与双弧的容积旋转调强(VMAT)两种不同的照射技术在左乳腺癌根治术后放疗中的剂量学差异。方法:选择接受放疗的左乳腺癌根治术后患者20例,采用M
籽粒及相关性状是小麦品种改良最为重要的目标,其影响因素众多。根据在田间实际观察的表型以及前人的研究结果,选择了影响籽粒性状的籽粒大小、叶片性状(旗叶相关性状和叶片
文章以省域的视角分析甘肃省生态文明建设的现状,从自然生态环境、生态农业、城市生态环境等方面探讨生态文明建设的系统构建,并据此提出实施策略。
从环境、基础理论、技术和管理四个方面研究图书馆管理学理论体系的影响因素,并提出资源管理、技术管理、服务管理三位一体新视角下的图书馆管理学理论体系,指出图书馆管理学
未决赔款准备金是保险公司的一项重要负债,提取充足与否直接影响到公司的财务状况好坏,过高过低估计未决赔款准备金都会对公司造成负面的影响。对于未决赔款准备金的估计,目