论文部分内容阅读
MPS是适宜海洋地震资料处理的PC集群并行处理系统,是解决海量地震数据复杂运算问题的系统处理与开发平台。它建立了并行作业调度系统,具有作业调度管理的基本功能,但是系统存在诸多不足,如:作业调度模块中的调度算法还存在缺陷,地震作业的处理效率不能令人满意等。为了解决上述的问题,本文通过研究地震数据作业调度系统的架构,分析地震作业的处理流程,对作业调度模块中的作业选取算法以及节点分配算法进行了优化,并且提出作业并行处理模型,对作业处理中的I/O调度进行优化,以提高作业的执行效率、更有效的利用系统资源。本文的主要研究内容如下:1.研究作业调度系统的架构和相关技术研究了作业调度系统的组成,分析了作业调度模块和作业处理流程中的不足,提出了对作业调度模块和作业处理模型进行改进的方案。另外,还介绍了地震数据作业集群中节点的主从模式、主从节点的功能等。2.研究作业调度算法及节点分配算法分析了当前作业调度算法的原理,针对该算法的不足,提出了改进的回填调度算法。该算法通过修改等待作业队列中小作业所需要的内核数,使内核数等于集群空闲资源的内核数,使没有回填机会的小作业得到回填机会。同时对作业中的节点分配算法进行了优化,通过减少作业外通信的比例提高作业的执行效率。3.研究地震数据处理系统(MPS)中的作业处理模型及I/O调度优化本文通过对地震数据处理系统(MPS)的作业处理流程进行分析,提出了地震数据作业并行处理模型。该模型实现了把作业中的输入模块、处理模块、输出模块三个模块分为三个进程并行执行,充分发挥处理器多核的优势,进而提高作业的执行效率。另外通过对当前地震数据作业抽道集方法的研究,分析了当前地震数据抽道集方法的缺陷,对地震数据作业的抽道集方法进行优化,在地震数据作业读取地震文件时尽量减少读取磁盘和定位磁盘的次数,从而提高读取地震数据的效率。最后对优化后的系统进行作业测试,计算出测试作业的平均响应时间、平均运行时间和资源利用率等指标,通过与优化前的指标进行比较,表明优化后的调度算法提高了集群资源的利用率,减少了作业运行时间。