论文部分内容阅读
近年来,越来越多的众多应用都高度依赖于云计算中心提供的计算服务,因此在云计算中心网络中通常会同时传输各类混合任务流,混合任务流的传输效率极大地决定了服务质量的优劣。为提升计算速度,现在的云计算中心通常使用的分布式计算框架,其网络拓扑结构通常具有多对一传输模式和不同长短流混合等特点,这些特点导致传统的流量模型和调度方法在应用中遭遇到了性能局限和瓶颈,同时也给云计算中心的流调度带来了新的挑战。共流(Coflow)是针对云计算中心中并行计算应用的特点而提出的一种新的流量模型,在近年的研究中已经逐渐取代传统流量模型。本文论述了云计算中心中Coflow调度研究的研究现状,详细介绍了目前常用的Coflow调度器,分析了当前Coflow调度方案存在的不足,并针对这些不足提出了可行的解决方案。本文的主要创新点及贡献如下:1.为改进目前信息未知调度方案中Coflow大小预测方法缺乏高精度和高适应性模型的现状,本文提出基于机器学习的Coflow大小预测算法,该算法通过学习传输中的多种Coflow特征来预测Coflow大小,提升了Coflow大小预测的准确率。2.在之前的Coflow信息未知调度中,调度方案的优化目标均为降低平均Coflow完成时间,然而本文发现这类调度方案由于忽略Coflow截止时间的影响,Coflow很可能会由于无法在截止时间前完成而导致传输失败。因此本文提出在调度器设计中引入紧急性权重这一特征,用来衡量一个Coflow能否在截止时间前完成,并且设计了基于紧急性权重的信息未知Coflow调度算法,它的目标在于最大化Coflow完成率。仿真实验证明,相比之前的Coflow调度方案,本文设计的调度方案平均提升了20%的Coflow完成率,此外,本文设计的调度方案和传统方案相比,Coflow的完成时间也更短。3.本文通过对比三类机器学习算法在不同实验环境下的性能表现,完善了本文设计的Coflow大小预测方法,并总结出了每一类机器学习算法适用的云计算中心环境。4.由于现有广泛使用的Coflow仿真器Coflowsim是基于Java语言实现的,在其中使用热门机器学习库和框架都比较繁琐,而且该仿真器是最新更新时间为2017年,没有内置最新的Coflow调度方案。因此本文通过python语言实现了Coflow仿真器Coflowsim-Pyhton并在此仿真器中实现了本文提出的设计和最新的Coflow调度方案MCS,通过Coflowsim-Pyhton可以更方便快捷地在调度设计的实现中使用最新的机器学习和人工智能算法,并和最新的Coflow调度方案做对比,它也能为日后的研究者提供方便。