论文部分内容阅读
借助于虚拟化的计算能力,存储资源以及现代Web技术,云计算能够为用户提供可扩展的、以网络为中心的、抽象的IT基础设施,平台以及各种各样的应用。随着云计算应用领域的不断深化,伴随而来的是系统上会时时刻刻产生大量的任务和数据。如何对产生的任务和数据进行高效的调度和分配已经成为云计算研究领域的重要内容。本文具体的研究工作如下:(1)针对传统调度算法不能满足用户真实的QoS需求的情况,提出了一种基于QoS分类的任务调度算法。本算法针对的是独立任务的调度,也就是任务之间没有依赖关系,因此该方法可以利用模糊聚类算法对任务集进行分类,然后采用传统的分段Min-Min算法进行任务的分配,分段Min-Min算法相比Min-Min算法是以更小粒度来分配资源,因此能提高任务和资源之间匹配程度,在此基础上针对某些节点负载过重的情况采取优化方法,这样能进一步降低完成时间,同时取得了一定程度的负载均衡。实验结果表明,提出的改进方法既能满足用户的QoS需求,又能取得较短的完成时间。(2)针对基本遗传算法在种群较大的情况下适应度计算开销较大的问题,提出了一种结合MMTD(中介真值程度)的适应度评估方法。由于本算法适用的对象是有依赖关系的任务集,因此在为任务分配资源时需要保证所有父任务全部执行完毕,在所有父任务全部执行完毕的情况下尽量将所有子任务并行执行,这样能够提高任务的并行程度进而降低完成时间。本方法的主要思路是在对种群中个体进行适应度评估时,首先采用k均值聚类对种群进行聚类,然后在每种类别中选出一个代表染色体并计算适应度值,在此基础上选出距离每个代表染色体最近的代表染色体,再采用MMTD方法对这两个类别中其他染色体的适应度进行评估,进而得出所有染色体的适应度,由于省略了计算每个染色体的适应度的过程,也就相应减少了计算的复杂度。实验结果表明,本文提出的方法能够降低群体中适应度计算的复杂度,同时提高迭代的效率。(3)为了改进MapReduce模式中数据远程访问造成的巨大资源开销的问题,提出了一种旨在提高数据本地性的优化调度算法。该方法在Map阶段把整个集群划分为若干个部分,每个部分至少存有每个数据块的一个副本,在此基础上在每个部分采用数据干扰权重来分配任务,数据干扰权重是用来衡量一个资源的稀缺性的指标,在Reduce阶段采用延时的策略来提高数据本地访问的概率,通过在这两个阶段采取的优化措施来尽量降低远程数据访问的代价,进而改善了数据的本地性。