基于SDN的MapReduce带宽优化设计

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wangli7313981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,越来越多的应用产生了大量的数据处理需求,为了并行处理大规模数据,Hadoop作为开源的分布式系统基础架构被提了出来。然而在实际Hadoop系统中,一个严重影响其整体性能的问题(如何使作业完成时间最短)成为了一个NP完全问题,导致这个问题的主要因素是数据中心的网络带宽的紧缺使MapReduce计算过程中数据迁移时间过长。而软件定义网络(SDN)作为一个创新性的网络架构,它将控制层面完全由交换设备中剥离出来,迁移到控制器中,交换机只负责数据的转发工作,从而实现了路由控制和数据转发的分离。同时也使交换机能够对网络中的数据进行灵活的处理,并且控制器能够知晓全局网络拓扑结构,这让我们看到了通过OpenFlow(SDN的具体实现)对Hadoop进行性能优化的可能性。由此本文首先分析了影响Hadoop工作性能的主要原因,是Map节点向Reduce节点进行数据迁移时间过长。针对该问题,我们提出利用SDN对网络的灵活控制,让Map中间值在交换机上进行数据合并,通过合并数据节约带宽。为此我们提出了OF-MR系统,该系统使得Hadoop中Master节点与控制器交互,设计了基于SDN的MapReduce路由算法,在交换机上进行数据合并行为的扩展。最后本文在真实的网络环境中搭建了OF-MR系统,对其进行了功能测试和性能测试,验证了在云计算数据中心网络中应用该方案的可行性和有效性。
其他文献
伴随国家基础设施建设的发展,4G手机和4G网络已经成为了人们日常生活中习以为常且不可或缺的一部分。移动互联网伴随着日益降低的网络门槛,正在以井喷式的速度不断发展和改变人
本文以被动毫米波成像应用于人体隐匿违禁物品探测为背景,从毫米波辐射计成像的一般原理出发,结合二维扫描辐射计成像系统的工作原理和具体要求,完成了基于DSP芯片的被动毫米波
互联网的快速发展和普及,对网络带宽提出了越来越高的要求。而EPON网络具有高带宽、低成本、易使用和易升级的优良特性,正成为光接入网中的最佳选择。EPON网络性能的管理和改
目的探讨协同护理方案对提高血液透析患者自我管理能力的效果。方法血液透析治疗的90例患者随机分为对照组和实验组,各45例。对照组给予常规护理,实验组在此基础上给予协同护
目的:探讨心理护理干预对纤维支气管镜(纤支镜)检查患者心理状态的影响。方法采用焦虑自评量表(SAS)对本院内镜中心50例纤支镜检查患者心理护理干预前后紧张焦虑状态进行调查
论文在对多路同步数据采集及硬盘存储技术进行认真研究的基础上,设计了一个基于DSP的8路同步数据采集及硬盘存储系统,介绍了主要元器件的结构及功能,论述了系统的总体设计方
随着IP网络规模和用户数目的不断扩大,业务种类日趋多样化,加之对服务质量、网络与信息安全的要求越来越高,给其运营、维护和管理提出更高的要求。同时,掌握IP网络的运行规律
随着互联网应用的发展变化,兴起了各种以数据内容为中心的应用,当前基于TCP/IP协议栈的互联网暴露了诸多的缺陷。为了应对以内容为中心的需求方式,(PARC)研究中心提出了内容
随着我国经济的快速增长,现金流通量快速增长以及民众对纸币质量的高要求,具有纸币清分能力的A类点钞机、清分机、ATM机等金融机具随之产生。纸币清分是对纸币的面向、面额、新旧、残缺、真伪进行识别,从而抑制破损纸币、假币的流通,迄今为止,很多不适宜流通纸币的挑选工作都是靠人工,筛选结果不理想。然而我国纸币清分的研究工作才刚刚起步,值得依赖的鉴伪和清分器具较少,再加上假币制造技术的日益发展,因此,纸币清分
通过在电极对拖曳天线电缆中附加磁场环天线可实现超低频(SLF)对潜通信的全向接收。与电极对天线相比,磁场天线的噪声种类更多,形式更复杂,电压更高。本文对SLF磁场拖曳天线