论文部分内容阅读
随着处理数据的量级不断增大,传统的单计算节点的大型处理机已渐渐无法满足新时代的数据处理需求。并行与分布式系统则为这一问题提供了新的思路与解决方案。对于大型分布式计算集群而言,如何将任务有效地进行划分、调度到系统中各个处理机则是能否高效发挥集群处理能力的关键性问题。高效的任务调度策略将极大地发挥现有集群计算能力,从而应对更大的挑战。可分任务理论是对现实世界中诸如图像识别、大规模计算、视频转码、网络文件集特征搜索等多个领域问题的一种很好的近似。其形式简单、易于理解却又不失理论上的精确性,一经提出便引起学术界的广泛关注。尤其是在并行与分布式系统下的可分任务调度问题符合时代与技术的发展要求,愈发成为研究的热点问题。本文的主要研究工作是在异构分布式环境下的可分任务的多趟调度优化模型及其求解算法,全文的工作主要有以下几个方面:1、现有研究表明大多数的调度问题都是NP难问题,目前尚不能确定该类问题是否具有多项式时间复杂度的求解算法。因此对于此类问题,以遗传算法为代表的智能优化算法,能够在相对合理的时间内获得原问题的近似最优解,故得到了广泛的研究。本文回顾遗传算法,详细研究编、解码策略、交叉、变异、选择等遗传算子。2、本文研究了已有的并行与分布式系统下的可分任务的周期性调度算法,研究发现已有算法大多通过对任务完成时间关于处理机数目和调度趟数的函数求导的方式求解最优的处理机数目与调度趟数。由于对函数求导要求该函数的定义域是连续可导的,然而处理机数目与调度趟数的取值范围都是正整数,使得任务完成时间函数是不可导的,使用求导的方式求解可能会获得不可行解。为了解决该问题,本文提出一种新的给定调度顺序的周期性多趟调度模型。证明了该模型下的两条性质,并且基于这两条性质本文提出一种新的快速周期性多趟调度算法。实验表明,本文提出的新算法可以获得最优的处理机数目和调度趟数,从而得到比已有算法更短的任务完成时间。3、现有的研究大多针对给定调度顺序的周期性多趟调度。然而,调度顺序对异构并行和分布式系统下的周期性多趟调度结果具有重要影响。因此,为了最小化任务的完成时间,需要求解确定:(1)最优的任务划分策略;(2)最优的参与计算的处理机数目;(3)最优的调度趟数;(4)最优的处理机调度顺序。为了求解以上问题,本文建立了一种新的周期性可分任务多趟调度模型并提出一种新的全局优化算法求解该模型。实验结果表明,本文提出的新算法相较于已有算法,可以获得更短的完成时间。