基于SDN带宽感知的Hadoop调度算法优化与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wangfei871010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
软件定义网络(SDN)是一个创新性的网络架构,它从底层设备中分隔出了网络控制功能。跟随时间的推移,越来越多的应用产生了大量的数据处理需求,利用SDN帮助企业建立一个更易管控的大数据中心正成为大势所趋。为了并行处理大规模数据,Hadoop作为MapReduce的一个开源实现被提了出来。在实际Hadoop系统中,一个严重影响整体性能的问题(如何使作业完成时间最短)是一个NP完全问题。将任务分配到数据本地节点是一个主要的分配策略,由于网络带宽是一个紧缺资源,这样做可以避免链路占用。许多任务调度算法诸如HDS和BAR都是采用了保证数据本地性的策略。然而,这些算法要么忽视了从全局角度来分配任务,要么在分配任务的时候忽略了网络可用带宽这一重要影响因素。本文提出了一个启发式的带宽感知任务调度算法BASS,BASS结合考虑了Hadoop和SDN。它不仅从全局视角保证了数据的本地性,同时也用一种优化的方式来高效分配任务,示例和实验都证明了BASS算法在作业完成时间方面有着最好的性能表现。据我们所知,BASS是第一个利用SDN的能力来帮助Hadoop进行大数据处理的策略,我们相信这为大数据处理指明了一个新的趋势。
其他文献
反相对称调制法(简记为PISM-Phase-Inversion Symmetric Modulation)是我的导师萧宝瑾教授首先提出的一种通信方法。它能利用噪声的相关性从强噪声中提取出弱信号,大大提高信
下一代网络(Next Generation Network,简称NGN)是电信网络变革的必然方向。随着NGN试验与商用网络规模的不断扩大,对NGN所提供综合业务的服务质量(Quality of Service,简称Qo
在移动通信蓬勃发展的今天,超宽带技术由于具有传输速率高,功耗低,安全性好,抗多径能力强以及成本低廉等优点受到越来越广泛的重视。超宽带通信系统利用纳秒至皮秒级的非正弦
目的研究胰腺癌组织中EMMPRIN、MMP1、MMP9、TIMP1表达和微血管计数(MVC),并探讨其临床病理意义及其相互关系.方法51例胰腺癌手术切除标本常规制作石蜡包埋切片,染色方法均为
短波天波通信依靠电离层反射来实现信号的远距离传播,可以用相对简单的设备实现远距离乃至全球范围的通信,在广播、抢险救灾和军事通信等领域得到广泛地应用。近年来,随着各种用
近年来,国内外互联网业高速发展,互联网终端从最初的计算机扩展到了如今的手机、平板电脑等设备上来。智能电视就是互联网走入生活浪潮下的产物。它通过搭载Android系统,让丰富
无线传感器网络的基本目的是为了感知物理世界,为不同的应用提供感知数据。随着大数据时代的到来,无线传感器网络也成为了数据时代的一项重要应用。例如,目前国际上在建的用于地
随着电视广播数字化的发展,数字电视产业也正在形成。这一新兴产业已经引起广泛的关注,各个国家根据自己的国情,已分别制定出由模拟电视向数字电视过渡的方案和产业目标。数
多视角视频拼接,就是将多路摄像头采集的不同视角视频,通过实时拼接融合与视频间的同步处理,还原完整的全景视频。这样只需要用普通的非广角的摄像头就可以实现大角度或者是360
无线通信技术的快速发展过程中,面临着两个亟待解决的难点:一方面,ICT(Information and Communication Technology)领域的能耗问题已经引起了世界的广泛关注。无线通信的能耗是