基于SDN的MapReduce带宽优化设计

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:zonglijuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在实际Hadoop系统中,如何使作业完成时间最短成为了一个NP完全问题,导致这个问题的主要原因是MapReduce计算过程中大量的数据从Map节点向Reduce节点进行迁移,容易造成网络拥塞,使得数据迁移时间过长。软件定义网络(SDN)实现了路由控制和数据转发的分离,同时使交换机能够对网络中的数据进行灵活处理,使控制器能够知晓全局网络拓扑结构,其集中式管理模式为Hadoop进行性能优化带来了可能性。利用SDN对网络的灵活控制,让Map中间值在OpenFlow交换机上进行数据合并,减少数据流量和数据迁移时间
其他文献
慢性化脓性上颌窦炎是耳鼻咽喉科的常见疾病.笔者自2001年10月~2004年1月采用上颌窦穿刺冲洗联合应用中药浸膏塞鼻法治疗此病110例,同期单纯采用上颌窦穿刺冲洗法治疗98例,并
慢性咽炎系耳鼻咽喉科常见病、多发病.国内文献报道其发病率占咽喉疾病的10%~20%[1].由于其病因复杂,复发率高,临床上治疗方法虽多,但疗效均欠满意.我们于2001年2月~2003年12月
安全攸关系统广泛应用于交通、工控、航空等与国计民生相关的安全攸关领域,对可靠性有着非常高的要求。而控制软件往往是安全攸关系统的核心,因此对它的可靠性预测精度必须达到很高的要求。将深度置信网络(DBN)应用于软件可靠性增长预测模型(SRPM)的研究。针对DBN中核心模块RBM的无监督学习,采用了动态模式跳转算法(DMH)。该算法通过动态地维护一个模式集,然后借助模式集中模式的跳转来完成RBM中状态的
针对目前代码混淆有效性评估问题的复杂性和不一致性,提出一种基于主成分分析的代码混淆有效性综合评估模型。该模型将传统主成分分析进行改进,提出动态自适应主成分分析并应用
若新生儿和婴幼儿听觉能力下降或缺失,将有碍其言语能力发展和神经系统的发育,对社交、情感、认知和学习等产生不利影响,听力损失的危害性大,几乎是不可逆的[1].因此,对新生
针对短波通信在传输过程中连通率低及容易遭受敌方截获和攻击的缺点,提出一种基于二元多项式的密钥预分配方案。该方案采用对称加密技术保证报文加/解密的效率;运用公钥密码体制复杂性提高会话密钥的安全性;引入hash函数对报文进行签名,验证报文的真实性与完整性;基于区域划分对节点进行分簇,实现节点之间100%的连通率。实验结果表明,该方案能有效抵御敌方的攻击,保证网络的安全通信。
目的:探究妊娠期代谢综合征孕妇加强营养干预后所存在的应用价值。方法:选取80例在2015年6月-2016年8月,孕24-28周来我院治疗的妊娠期代谢综合征患者,均根据自愿原则划分为观
P2P技术极大地方便了互联网上的资源共享,在网络流量中比例最大且多以加密形式出现,但存在带宽消耗大、分享内容缺乏监管等弊端。准确快速识别基于P2P架构的Skype加密流量,对于提高网络服务质量、优化网络带宽分配、加强安全管控有着重要意义。在分析Skype信令交互和内容传输阶段流量统计特征的基础上,提出一种基于趋势感知协议指纹的Skype加密流量识别算法。通过定义趋势感知加权函数,真实反映了流量特征
针对计算机辅助颅像重合技术中三维颅骨模型与二维人脸照片的颅像叠加问题,提出一种基于浮点数编码遗传算法的自动叠加方法。首先使用遗传算法寻找三维颅骨相对于二维照片上对应标志点的最佳匹配几何变换f,遗传算法采用浮点数编码,选择、交叉、变异算子分别使用最佳保留选择算子、启发式交叉算子和随机变异算子,然后通过相似性变换和透视投影变换,将三维颅骨模型映射到二维人脸照片上,实现最佳颅像叠加。实验表明,此方法实现
慢性鼻窦炎是耳鼻咽喉科的常见病,随着鼻内镜下鼻窦手术的开展,明显提高了治愈率.但由于鼻腔鼻窦的解剖结构和手术特点,手术后鼻内填塞物的选择已成为鼻内镜手术技术不可分割