数据密集型遥感图像并行处理平台关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:coffeedoly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥感技术、通讯技术及计算机技术的快速发展,尤其随着高分辨率对地观测时代的到来,带来了对地观测数据的爆炸性增长和广泛应用。通过机载和星载传感器等不同途径获取的遥感数据正以每日TB级的速度增长。海量的遥感数据有待及时、有效的快速处理。与此同时,全球变化等复杂遥感应用则更多地结合大区域甚至覆盖全球的多时相、多平台、多波段、多空间分辨率的遥感图像进行处理。而且突发性应急遥感应用通常具有很高的处理时效性要求,需在几小时甚至几十分钟内完成大量的高精度遥感图像处理运算。因此,如何快速、自动地在短时间内进行高度密集的数据处理,是遥感图像处理及对地观测应用领域进一步发展面临的一个重要课题。  面向计算密集的高性能集群平台的各个系统层次都显然已经不能适应遥感数据处理中高度密集的数据吞吐压力,遥感图像处理在算法并行编程、处理速度和处理规模等多个方面均面临着挑战。为此,本文的研究将针对数据密集型遥感图像并行处理平台构建中面临的上述难题,开展数据密集型遥感图像处理并行编程模型、分布式遥感图像数据高速缓存管理模型、面向大规模遥感图像处理的遥感并行文件系统及任务树调度机制等关键技术研究,并试图建立高效、灵活的针对遥感数据处理算法的并行编程模型及相应的数据密集型遥感图像并行处理平台。  论文主要贡献和创新点如下:  1.提出了遥感数据处理中”数据密集型计算”问题的量化评价模型。在该量化指标模型中,采用遥感数据密集计算指数DIRS对遥感图像处理中的“数据密集型计算”问题进行量化表示与评价,即表示其数据密集程度。目前,对于遥感图像处理中的数据密集计算问题尚没有明确的定义和分析方法。而在本文中的遥感数据密集指数模型的提出,将为遥感数据处理应用的数据密集处理问题提供量化的指标表示与评价方法。  2.构建了面向数据密集的骨架式遥感并行编程模型。针对遥感数据并行处理中程序开发的难题,本文拟将骨架式并行编程和泛型编程引入遥感数据处理算法的并行开发中,提出一种面向数据密集型遥感图像处理的骨架式并行编程模型。该并行编程模型,通过提高并行编程的抽象层次,为同类遥感应用算法的并行求解提供了并行算法框架Skeleton及并行编程范式支持,只需简单的数据块操作定义和泛型编程模板参数实例化,便可隐式地实现算法并行化而无需关心系统相关并行实现细节,从而解决并行编程困难问题。借助数据预取、计算与I/O重叠等优化技术,以提高并行算法的数据吞吐性能及扩展能力。  3.建立了基于分布式内存的全局遥感图像数据模型。本文提出了可在跨节点的分布式内存空间进行自动分布的遥感图像数据模型。模型定义了多维遥感数据的在分布式内存中的数据组织结构、划分策略、跨节点内存数据布局与传输机制。借助于MPI单边通信和数据序列化以提供全局数据视图以及透明高效的跨节点传输,并通过跨节点内存数据布局优化提高数据局部性和访问效率。该模型突破单节点的内存大小限制,解决了大幅遥感图像数据的内存载入与跨节点传输问题。  4.提出了基于有向无环图(DAG)的大规模遥感图像处理任务树调度方法。本文提出基于DAG和状态队列的动态任务树调度方法,对处理任务进行高效调度,将任务间数据依赖关系与并行算法的控制逻辑解耦,解决由大量任务间数据依赖关系带来的遥感算法并行控制逻辑复杂、处理规模和处理性能难以扩展等问题。  基于上述成果,本文以全国范围ETM+(15m)遥感图像镶嵌及PIPS-X并行遥感图像处理系统的构建作为应用实例,对数据密集型遥感图像并行处理平台及其关键技术进行实验验证和处理性能分析。由实验结果可知,基于RS-DPCF遥感并行计算框架的数据密集型遥感图像并行处理平台具有高效、友好的并行可编程性,且基于该处理平台的典型应用实例也展现了非常好的数据吞吐性能和吞吐能力、计算节点扩展能力及数据处理规模扩展能力。
其他文献
基于视频概念检测的视频检索技术目的在于提取视频中的高层语义,来解决海量视频的产生和传输带来的一系列的组织、过滤、分类和检索的问题,具有巨大的科研价值和广阔的市场前
丹参根腐病是丹参的严重土传病害,以山东省聊城市茌平县杜郎口镇中药材种植基地采集的根腐病丹参为试材,从病根中分离到了三种致病菌,分别为DS-1,DS-2,DS-3。并对DS-1菌株进
在1998年,美国联邦通信委员会对运营商和设备制造商提出了移动定位技术要求,以满足Enhanced-911安全服务。其中,基于网络定位方法的精度要求是100米(67%)和300米(95%),基于终
乙型肝炎是由乙型肝炎病毒(HBV,hepatitis B virus)引起的一种影响人类健康的重要传染病。乙肝疫苗的接种是目前控制乙型肝炎感染的最有效的措施,但是传统的乙型肝炎亚单位疫苗
回声抵消是现代通信系统中必须要解决的问题。回声包括线路回声和声学回声两种。现代通信系统的回声路径一般很长。在公共交换电话网络(PSTN)中,回声抵消器必须能够处理长达12
语种识别(Language Identification)的目的是判断所给语音片段所属语种,与说话人及说话内容无关的。随着“地球村”的日益发展和移动终端的普及,语种识别技术在提供多语种人
随着无线局域网(WLAN)技术的不断发展,其应用也逐渐延伸到人们日常工作和生活的各个领域,包括多媒体应用在内的无线业务请求随之急剧增长。因此,如何为无线网络环境中不同数
摘要:以信息技术作为一种工具,改变传统的教学模式,可以大大提高初中英语教与学的趣味性与实效性。运用信息技术整合英语教学设计,改革英语教学模式;运用信息技术整合活化英语教学内容,化解理解难度;运用多媒体技术,优化英语课堂教学结构;运用信息技术将网络与英语教学整合,提供培养学生学习的资源库;初中英语教学与信息技术整合时还要遵循一定的原则。  关键词:信息技术;初中英语;课堂教学;整合  中图分类号:G
该论文对相互混频式微波收发信机的波道频率配置方案进行了比较深入地研究.提出了一种新的波道频率配置方案,解决了相互混频式微波收发信机波道同国家无委会规定准波道之间的
本文研究了辅酶Q(coenzyme Q,CoQ)对大鼠再生肝细胞线粒体结构与功能的影响,为探究COQ对再生肝作用机制及线粒体在肝再生中的作用提供资料。 实验选用雌性Sprague-Dawley大