数据中心Coflow调度机制的研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:jili1027
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算产业飞速发展。数据中心作为云计算的基础设施,在云计算的发展过程中起着至关重要的作用。在当今数据中心中,如何对网络资源高效调度是学术界和工业界共同关注的难题。研究发现,数据中心中任务的网络传输时间占据了总完成时间的50%,因此对于网络资源的管理和优化对缩短任务的完成时间非常重要。早期对数据中心中网络调度的研究主要集中在流级,然而流级抽象无法捕获数据中心中两组主机之间的通信语义。Coflow抽象是人们向应用感知网络调度迈出的重要一步。Coflow的引入使应用层的通信语义更加容易地传递到网络层。本文主要研究如何调度数据中心中单阶段任务和多阶段任务的Coflow以最小化总任务完成时间。对单阶段任务,本文主要关注多播(Multicast)通信模式。高效的多播算法可以大大提高数据中心中应用程序的性能。众所周知,由于网络管理的原因,数据中心中链路层和网络层多播通常被网络管理员禁用,所以本文主要研究应用层多播算法。对于数据中心中应用层多播,主要面临两个挑战:首先,如何准确地推测出网络的拓扑结构?其次,在准确地推测出网络的拓扑结构的前提下,如何设计一个高效的多播算法?本文通过层次聚类的思想,即使在有线和无线混合的数据中心网络架构中也可以准确地推测出数据中心的层次拓扑。利用数据中心网络的层次拓扑信息,本文提出了机架间传输优先多播算法IRFM。实验证明IRFM在纯有线数据中心网络中比其它多播算法快3.7~11.2倍,而在有线和无线混合的数据中心网络中比其它多播算法快4.8~14.6倍。对于多阶段任务Coflow调度问题,Coflow之间存在依赖关系。Coflow完成时间和任务完成时间之间存在很大差异。截至目前,本文是第一篇系统地研究如何调度多阶段任务中具有依赖关系的Coflow,以最小化总加权任务完成时间的论文。本文首先将多阶段任务Coflow调度问题形式化并证明该问题为强NP难问题。然后提出了可以在多项式时间内解决该问题的近似算法MCS。MCS算法在一般情况下的近似比为(2M+1),其中M为机器的数量,而在特殊情况下的近似比仅为3。由于目前数据中心网络大多采用具有收缩比的网络架构,这种网络架构不利于问题抽象和分析,因此现有的理论工作都没有考虑这种情况。而本文考虑了MCS算法在具有收缩比的网络架构中的适用情况,将MCS算法扩展到具有收缩比的网络架构中。最后分别在真机实验和大规模仿真中评估了MCS算法。在真机实验测试平台中,本文设计并实现了一个应用层调度框架。与纯DCTCP相比,本文提出的MCS算法将任务完成时间降低了81.65%。在大规模仿真中,本文使用一个基于事件的流级仿真器,并与目前两个经典的算法Aalo和LP-OV-LS进行了比较。与多阶段Coflow调度系统Aalo相比,本文提出的MCS算法将任务完成时间降低了33.48%;与最优的Coflow调度近似算法LP-OV-LS相比,本文提出的MCS算法将任务完成时间降低了83.58%。真机实验结果和大规模仿真实验结果均表明,本文提出的MCS算法和其理论下界之间的最大差距仅为9.14%。
其他文献
混凝土的耐久性问题受到学者们的广泛关注。微胶囊技术作为一个新兴的自修复技术,为提高混凝土耐久性提供了一种可行的思路。现有文献已经对微胶囊水泥基材料的力学及耐久性
21世纪20年代,经历了三次工业革命后的黄金岁月,科学技术飞速发展,智能产品层出不穷,一些譬如人工智能、虚拟与现实技术、物联网、汽车电子等新科技兴起。高速发展的信息技术
在航天、化工、电力及力学等工程技术领域常存在时间尺度不同的动力系统,控制理论中将这类具有多时标特征的系统抽象成奇异摄动系统来研究。在实际工业中,被控对象和控制器以及传感器执行器的工作状况都将影响其控制性能,而运行过程中元器件的老化和一些意外的发生不可避免。除此之外,伴随着工业系统规模日趋庞大,其控制要求日渐精细复杂,系统中普遍存在的不确定和时滞及外部干扰等因素不容忽视。基于上述原因,本文研究了具有
现实世界中,许多系统都可以建模成相应的复杂网络,进而分析,如微博网络、蛋白质网络、文献网络等。这些网络通常以模块(又称社区)构成,模块内部的连通性较好,模块之间则较低。社区发现是复杂网络分析的一个重要问题,对发现网络中节点之间的隐藏关系,挖掘网络信息有着重要理论意义和实用价值。传统基于种子集的社区发现算法仅构造单一识别模型,无法有效识别社区成员。针对该问题,本文研究基于多模型集成学习和种子集扩展的
在信息存储技术日益发展的今天,存储器成为当代集成电路产业中最重要、最基础的部件之一。存储器的高集成度、较大的存储容量、高读写速度和低功耗等特性要求使它成为现如今
图书馆是学校的文献信息资源中心,是为教职员工提供教学和科学研究服务的学术性机构,同时,也是为学生提供知识的服务性机构。如何为学生提供个性化知识服务是一个重要研究议
在本论文中我们研究了罗马{k}-控制函数(也叫作弱{k}-控制函数),它是{k}-控制函数的变形,是罗马{2}-控制函数的推广,也是控制集的特征函数的推广,将经典的控制参数与罗马控制参数进行了统一.令G是一个图,是它的顶点集,k≥1是一个整数,函数f:V → {0,1,...,k}叫作罗马{k}-控制函数,如果对f(v)=0的每个点v∈V,都有∑u∈N(v)f(u)≥k,其中N(v)为v在G中的邻
随着运营商业务的快速发展和供给侧改革的全方位开展,通信运营商的网络设备的增长与维护人员短缺之间的矛盾愈加明显。因此,网络运行维护工作引入外包势在必行。然而引入外包
随着城市及城镇化建设的快速推进,工程建设规模不断扩大,产生了大量弃土,也造成了弃土存放侵占耕地,运输过程也会影响城市干净整洁,受雨水冲刷产生次生灾害等问题。对此,利用
钙钛矿太阳电池因其优异的光电性能一直备受关注,迄今为止,钙钛矿太阳电池认证的光电转换效率(PCE)已突破25.2%。但钙钛矿太阳电池的商业化应用却一直没有进一步的发展,其限制