空间数据并行处理技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:resident_2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着空间下行数据种类的增多和数据量的增大,高速地处理海量空间下行数据成为航天地面数据处理系统未来的研究方向。本文借鉴了国内外海量数据处理所采取的基本方法和目前并行处理技术在航天地面系统中的应用情况,并结合实际问题和实验室环境,分别从并行调度平台、并行调度算法、开源工作流OSWORKFLOW的扩展、数据并行等方面进行研究,并把实验验证后的成果应用到对目前现行空间数据处理系统的扩展与优化中。   本文把XML引入并行调度消息传输,利用其强大的可扩展性,通过定义的命令接口可以使调度服务器和代理端之间保持高效的通信,增进了并行作业调度和状态监控的实时性。通过设计、实现并行调度平台验证了其可行性。针对并行环境中的调度问题提出了自适应动态规划调度算法和基于负载均衡和最短执行时间优先的LBSETF算法,并通过对比实验对算法进行验证。对OSWORKFLOW工作流引擎进行扩展:把流水线思想引入工作流设计,不仅解决了产品归档中的数据互斥操作问题,而且数据处理与产品归档2级流水线的设计,在实际数据处理任务中大大提高了任务执行效率;设计了工作流优先级功能,可以灵活配置多个流程优先级,使空间数据处理系统具备了优先级调度功能,在实际数据处理任务中有效保证科学工程数据被优先处理。针对数据分割中的边界问题,分析了按大小分割,按帧分割的优缺点,提出了整体按大小分割,边界进行一次局部数据帧同步的方法,既保证了较高的数据分割效率,又解决了分割中边界问题。通过对比实验,验证了其有效性。
其他文献
信息技术的发展推动了电子政务信息系统朝着更加科学、完善、全面、可控的方向不断发展。瞬息万变的需求环境要求电子政务信息系统具有良好的应变能力,而建立高可配置的、柔性
图像分割是指把图像分成各具特性的区域并提取出感兴趣区域的技术和过程,是图像视觉分析和模式识别的基本前提,同时也是一个经典难题,到目前为止没有一种适合于所有图像的通
视觉追踪是计算机视觉研究的热点问题之一,它与模式识别、机器学习、图像处理和自动控制等众多领域息息相关。视觉追踪主要包括两个部分,目标检测和目标跟踪。目标检测主要用来
大气相干长度是湍流大气光学领域里一个非常重要的参数。昼夜大气相干长度仪采用全天候连续观测恒星的方式测量整层大气相干长度,实现了数据的完整获取,丰富了对整层湍流强度时
建筑物模型重建是当前计算机视觉和计算机图形学领域的一个热点,在动画、虚拟现实、游戏、战场模拟等应用领域有着很重要的应用价值。但目前大部分的模型重建工作是基于多幅
随着信息时代的发展,推荐系统面临着数据的非实时性、稀疏性和冷启动性等问题。本文通过对推荐系统深入的研究,利用传统推荐算法进行相应改进,构建了一种动态时间的个性化推荐模
作为一种有效获取和组织家族软件中公共性与变化性需求的模型,特征模型有助于后续的软件开发活动对需求的管理,从而实现软件开发在需求层级上的复用。  目前,针对特征模型
ARP项目是中科院“十五”期间重点建设的科研管理信息化支撑平台。目前已形成了覆盖中国科学院院和研究所两级的应用平台,包括人力资源、综合财务、科研条件、科研项目、评估
随着超级计算机的快速发展,其能耗问题日益显著。超级计算机的高能耗带来三方面的负面影响:一、不但增加计算机的用电费用,还增加相关冷却设备的投入,提高超级计算机的总拥有
视频局部区域加密技术通过对包含关键视觉信息的局部区域(如涉及个人隐私信息的区域)进行加密,实现视频内容安全保护。非授权用户仍然能够用通用的解码器观看加密后的视频,但