支持大数据的网络流调度技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:chshlu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着大数据时代的到来以及云平台上应用的不断增长,日益增长的网络流使数据中心的网络流调度问题更具挑战性。在当前的数据中心网络中,通常使用MapReduce,Spark等大数据处理平台对数据进行处理和分析。MapReduce的Reduce阶段需拉取其他节点Map任务的结果。跨节点拉取数据时,需对这些并发数据流的完成时间进行优化。随着云计算以及移动互联网的加速发展,数据中心正处于快速发展阶段,需对数据中心的网络流调度问题进行进一步研究。网络流调度问题通常采用的是最小瓶颈先行算法,在为当前最小瓶颈的网络流进行调度的这段时间内,可能会存在一些未被该网络流占用的剩余带宽,剩余带宽分配问题的核心在于如何确定填充剩余带宽的网络流顺序,即哪些流可以优先使用这些剩余带宽。常用的方式是计算在当前剩余带宽条件下,可优先使用剩余带宽的最优填充网络流,但并未考虑到当正进行调度的网络流完成时,当前被占用链路的带宽恢复,网络流在剩余带宽限制下的瓶颈流可能并不是各网络流真正的瓶颈流,而具有最小瓶颈的网络流却未能充分利用剩余带宽对瓶颈流进行提前传输,其完成时间存在较大的优化空间。鉴于上述问题,本文首先研究了剩余带宽分配问题,该方法可被分为两个阶段,在第一阶段对网络流进行排序,计算最优填充网络流队列:在第二阶段为各网络流分配带宽,考虑在不增加该网络流完成时间的同时,尽力为其他等待调度的网络流让出更多带宽,可有效降低网络流的平均完成时间。同时考虑到数据中心上的应用具有不同的时间敏感度,面向用户的应用通常对时间延迟具有较高的要求,如搜索和推荐服务;后台背景应用通常对时间的敏感度不高,如业务数据的离线分析。数据中心上的应用产生的这两类网络流,可被称为混合流。针对数据中心的混合流调度问题,本文提出了一种基于稳定匹配的混合流带宽替换方法,无截止时间网络流可为有截止时间网络流让出当前占据的链路带宽,用于保证有截止时间网络流能在截止时间之前完成,同时为无截止时间网络流让出足够多的带宽,保证这部分带宽能最大程度降低无截止时间网络流的平均完成时间。
其他文献
本文在前人研究基础上,通过野外剖面测量及薄片鉴定、古生物鉴定、扫描电镜分析、全岩X-衍射分析、总有机碳含量(TOC)分析、干酪根(Ro)分析等室内分析技术,分析了桂中北地区(
2019年8月,国家标准《电除尘器》制定工作已全部完成,解决了《电除尘器》国家标准缺位的问题,将满足环境质量改善、电除尘行业发展、创新驱动的发展战略及技术进步的需求,同
文章首先介绍了生物课程的特点,然后阐述了新课纲的改革给生物教学带了的挑战。之后,从学习共同体的产生和发展等不同角度具体介绍了讲学习共同体引入生物教学的模型。
教师是神圣的职业,肩负着“传道受业解惑”的使命。有责任、有担当的教师要从以下几方面要求自己:一、树立正确的教育观念;二、爱岗敬业;三、技术与艺术结合的手法去教学;四
中图分类号:G4 文献标识码:A 文章编号:1008-925X(2012)O5-0264-01  摘要:素质教育的灵魂是培养学生的创新精神和实践能力,音乐教育是实施素质教育的重要手段。在其教学中,最大限度的培养学生的创新精神和实践能力,是我们每一个教育工作者的主要任务。 
近代中国妇女运动具有以社会革命为主题、男性化倾向、远离广大劳动妇女三个特点。这些特点是历史条件的产物,直接影响着妇女运动的兴衰成败。近现代以来,妇女解放是一个全方位
本文基于师徒关系视角,以国内外在华企业的中国高级管理者为研究对象,选取286个当前或曾经在师徒关系中扮演徒弟角色的有效样本进行实证分析,探索徒弟的职业期望与其领导效能的
利用2005—2007年规模以上企业的生产数据,借助方程组估计和似不相关模型,从生产函数规模报酬递增的角度考察电力供应、水力发电等6个行业的自然垄断属性,发现基本没有规模报酬
本项目报告将《可持续金融框架分析》作为翻译素材。《可持续金融框架分析》由欧洲智库布鲁盖尔发布,是一项针对可持续金融与投资的策略分析报告。本报告主要讨论了翻译过程
学习兴趣,是学习的内部动机,它会促使学生对所学的内容感兴趣,接受挑战克服困难,在活动之内找到自身的乐趣。为了提升高中生的历史学习兴趣,作为教师理清学习兴趣的相关含义