论文部分内容阅读
随着空间下行数据种类的增多和数据量的增大,高速地处理海量空间下行数据成为航天地面数据处理系统未来的研究方向。本文借鉴了国内外海量数据处理所采取的基本方法和目前并行处理技术在航天地面系统中的应用情况,并结合实际问题和实验室环境,分别从并行调度平台、并行调度算法、开源工作流OSWORKFLOW的扩展、数据并行等方面进行研究,并把实验验证后的成果应用到对目前现行空间数据处理系统的扩展与优化中。
本文把XML引入并行调度消息传输,利用其强大的可扩展性,通过定义的命令接口可以使调度服务器和代理端之间保持高效的通信,增进了并行作业调度和状态监控的实时性。通过设计、实现并行调度平台验证了其可行性。针对并行环境中的调度问题提出了自适应动态规划调度算法和基于负载均衡和最短执行时间优先的LBSETF算法,并通过对比实验对算法进行验证。对OSWORKFLOW工作流引擎进行扩展:把流水线思想引入工作流设计,不仅解决了产品归档中的数据互斥操作问题,而且数据处理与产品归档2级流水线的设计,在实际数据处理任务中大大提高了任务执行效率;设计了工作流优先级功能,可以灵活配置多个流程优先级,使空间数据处理系统具备了优先级调度功能,在实际数据处理任务中有效保证科学工程数据被优先处理。针对数据分割中的边界问题,分析了按大小分割,按帧分割的优缺点,提出了整体按大小分割,边界进行一次局部数据帧同步的方法,既保证了较高的数据分割效率,又解决了分割中边界问题。通过对比实验,验证了其有效性。