云环境下的任务调度算法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:aniu88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
借助于虚拟化的计算能力,存储资源以及现代Web技术,云计算能够为用户提供可扩展的、以网络为中心的、抽象的IT基础设施,平台以及各种各样的应用。随着云计算应用领域的不断深化,伴随而来的是系统上会时时刻刻产生大量的任务和数据。如何对产生的任务和数据进行高效的调度和分配已经成为云计算研究领域的重要内容。本文具体的研究工作如下:(1)针对传统调度算法不能满足用户真实的QoS需求的情况,提出了一种基于QoS分类的任务调度算法。本算法针对的是独立任务的调度,也就是任务之间没有依赖关系,因此该方法可以利用模糊聚类算法对任务集进行分类,然后采用传统的分段Min-Min算法进行任务的分配,分段Min-Min算法相比Min-Min算法是以更小粒度来分配资源,因此能提高任务和资源之间匹配程度,在此基础上针对某些节点负载过重的情况采取优化方法,这样能进一步降低完成时间,同时取得了一定程度的负载均衡。实验结果表明,提出的改进方法既能满足用户的QoS需求,又能取得较短的完成时间。(2)针对基本遗传算法在种群较大的情况下适应度计算开销较大的问题,提出了一种结合MMTD(中介真值程度)的适应度评估方法。由于本算法适用的对象是有依赖关系的任务集,因此在为任务分配资源时需要保证所有父任务全部执行完毕,在所有父任务全部执行完毕的情况下尽量将所有子任务并行执行,这样能够提高任务的并行程度进而降低完成时间。本方法的主要思路是在对种群中个体进行适应度评估时,首先采用k均值聚类对种群进行聚类,然后在每种类别中选出一个代表染色体并计算适应度值,在此基础上选出距离每个代表染色体最近的代表染色体,再采用MMTD方法对这两个类别中其他染色体的适应度进行评估,进而得出所有染色体的适应度,由于省略了计算每个染色体的适应度的过程,也就相应减少了计算的复杂度。实验结果表明,本文提出的方法能够降低群体中适应度计算的复杂度,同时提高迭代的效率。(3)为了改进MapReduce模式中数据远程访问造成的巨大资源开销的问题,提出了一种旨在提高数据本地性的优化调度算法。该方法在Map阶段把整个集群划分为若干个部分,每个部分至少存有每个数据块的一个副本,在此基础上在每个部分采用数据干扰权重来分配任务,数据干扰权重是用来衡量一个资源的稀缺性的指标,在Reduce阶段采用延时的策略来提高数据本地访问的概率,通过在这两个阶段采取的优化措施来尽量降低远程数据访问的代价,进而改善了数据的本地性。
其他文献
随着互联网技术的高速发展,需要处理的数据量正在飞速增长,大数据的存储成为了一个非常迫切的需求。云存储是通过将网络中大量的不同种类的存储设备,经由虚拟化技术集合起来共同
写在前面的话突如其来的灾难,把汶川推到世人面前。钢筋水泥缝隙里,惊恐的眼神、求助的双手、带血的遗憾,令人刻骨铭心;幼小的面容、冰冻的希望、满地的肢体,江河呜咽,举国同
近几年来,西乡塘区坚持以“三个代表”重要思想为指导,认真贯彻落实党的十六大,十六届五中、六中全会和中纪委六次全会、自治区纪委七次全会精神,贯彻落实科学发展观,按照南
近年来,互联网多媒体服务已经越来越普及,这包括各类视频网站以及在线播放软件的风靡。与此同时,无线网络也正经历着飞速发展。因此无线多媒体服务成为业界关注的一个焦点。
采访工作是高校图书馆一切工作的基础,是图书馆自动化建设的重要环节。随着计算机技术和网络技术的发展,高校图书馆如何在计算机、网络环境下发挥最大效率,满足高校师生教学、科
欠发达地区是经济社会发展相对滞后的地区。一个地区经济社会发展的落后,说到底是这一地区的社会生产力低下所引起的。社会生产力发展缓慢,必然引起人们的思想观念的落后。人
分页是每个Web应用程序都要面对的一个问题。对于小型的应用,可以采取一些很粗糙的做法,比如对于每次请求都从数据源直接提取数据,这样做简单易行,不失为一个较好的解决方案;
随着网络通信技术与多媒体技术的发展,嵌入式视频监控技术已进入网络数字化阶段。视频监控系统经历了本地模拟信号监控系统、基于PC数字监控系统、基于嵌入式技术的网络数字
随着互联网的普及和国内各高校网络建设的不断发展,各高校建立的校园网已成为高校信息化建设的重要部分。校园网与互联网一样,存在着各种各样的网络安全问题。网络安全事故不断
基于.NET的医院信息管理系统是在充分了解国内医院管理现状的前提下,对医院各部门、各业务环节进行管理的软件系统。系统的开发是建立在微软的.NET平台上,利用先进的ASP.NET网页