面向分布式机器学习的光网络控制机制研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:snowshine1116131
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,GPU等计算加速器的使用,计算性能得到很大提升,也意味着每分钟有大量的数据通过网络传输,对于计算任务来说瓶颈从计算向通信进行转移。分布式机器学习就是一种常见的高性能计算任务,当训练数据量很大的时候,节点间的大规模通信可能会造成网络瓶颈的出现,现存的网络是一种通用的设计,网络结构僵化,无法针对分布式机器学习提供灵活的支撑能力,难以动态地调整网络与分布式机器学习进行适配。为了解决底层网络难以感知适配分布式机器学习,造成其网络瓶颈从而导致性能下降的问题,本论文研究与设计了面向分布式机器学习的光网络控制机制,能够利用光网络天然的灵活性以及SDN技术对网络资源的集中控制特性,针对分布式机器学习应用的性能需求,根据当前的网络状况进行适应性调整,把网络设计成灵活可控的,能够向着紧密贴合分布式机器学习需求的方向在交换模式、拓扑、资源分配等方面进行调整,提高其应用性能。论文中针对分布式机器学习这种应用进行了网络瓶颈的实验分析,基于SDN设计并实现了光网络控制机制,包括编排器与网络控制器的设计、自定义网元的YANG模型设计、南北向协议的设计,最后搭建实验平台进行相关验证,证明了面向分布式机器学习的光网络控制机制的可行性和有效性。另外,本论文针对边缘计算和云计算的场景,设计并实现了一种计算和网络资源联合调度的编排器,利用计算资源信息和网络资源信息进行联合调度,避免出现局部热点、负载不均衡等情况从而导致用户服务质量下降情况的发生。最后通过搭建实验平台进行了相关的实验验证,证明了其有效性。
其他文献
光传送网(Optical Transport Network,OTN)作为以密集波分复用技术为基础的网络系统,通过具有调度能力的交叉连接矩阵来增强其组网能力,是新一代传送网的主要技术。其既可以对大颗粒的业务进行直接调度,又可以提供大容量的带宽。正因为此,一旦发生网络故障会导致大量数据丢失以及核心信息传输受阻,从而造成重大经济损失和不良社会影响。因此对OTN进行光纤线路监测的需求变得愈发迫切,而且将
随着信息技术的飞速发展,国防领域正面对着复杂多变的战场环境,广频谱、宽频带、非线性的电子战场为传统宽带频谱感知装备带来了新的挑战。模数转换器因受限于采样定理,所以需要更高的采样率,而产生的海量数据也将增加后端处理能力的压力。基于压缩感知理论可实现低于奈奎斯特速率,对稀疏信号进行采样和重构,因此可缓解上述压力。微波光子学因为具有瞬时带宽大、稳定性强、抗电磁干扰等特点,经过优势互补,产生了光子辅助压缩
随着最近几年国内电商平台的发展,艺术品电商平台得到了一个良好的发展环境。但目前国内外艺术品电商平台功能单一、扩展性差,给用户带来了不好的购物体验。为了解决以上缺点,本文设计了一个社交化艺术品电商平台,该艺术品电商平台对传统电商平台在功能上进行了扩展和创新,加入了社交化的元素,包括线上展览、拍卖、评论、点赞等功能。由于PHP语言的跨平台、方便快捷等优点,因此本文使用PHP语言作为该艺术品电商平台的主
随着计算机视觉领域的发展,越来越多的任务可以交由机器解决。机器智能在人们的生产生活中扮演了越来越重要的角色。近年来,随着图形计算能力的快速增长,计算机视觉领域高速发展,在一系列基础视觉任务上取得了巨大成功。与此同时,对结合多种基础视觉任务处理实际问题提出了新的需求。本文旨在结合多种基础视觉任务,关注对人类行为的理解,以人体姿态估计任务为出发点,研究人体动作识别和评估算法,以满足当今社会对计算机视觉
随着移动互联网的高速发展以及计算机运算能力的不断提高,语音合成技术取得了一系列的突破。语音合成的应用场景也变的日趋广泛,例如Siri,小爱等手机语音助手、智能音箱等。为了满足人们多样化的需求与更好的用户体验,音色丰富,逼近真人、富有情感的语音技术成为了市场发展需要。当前语音合成多是韵律单调,很难从根据不同的输入文本合成不同的语调。在零次学习的多说话人语音合成时,也存在对未见过的说话人编码身份不准确
本文依据社会认知理论,对主管承诺和员工知识共享意愿的关系进行研究。200份有效问卷的研究结果表明:主管承诺对员工知识共享意愿提升有正向作用,内部人身份认知在主管承诺和员工知识共享意愿的关系之间起部分中介作用,提升主管承诺和内部人身份认知,有利于提高员工的知识共享意愿。
随着互联网的快速发展,软件的规模越来越大、迭代速度越来越快,软件的质量也面临着挑战。目前大规模开源软件代码量甚至达到数百万行、千万行,在传统单机环境下对大型软件进行静态缺陷检测会导致测试时间过长,甚至因资源不足而导致测试失败。为了解决大规模代码的静态缺陷测试效率问题,本文设计一种大规模代码模块划分方法,并且实现了该方法的分布式检测架构。本文首先对被测工程的依赖性关系进行建模,将代码文件之间的依赖性
超稳频率传输技术在通信、国防和航天探测等领域有着突出的应用价值。近年来,随着原子钟、光钟等时间频率基准的精确度越来越高,传统的时间频率传输方案面临着巨大的挑战,科研人员在探索基于光网络的稳定时频同步方案方面取得了显著进展,为进一步利用商用光纤网络进行时频同步提供了理论保障。本文首先对时间频率基准和时间频率传输技术的发展进行了介绍,深入总结了三种基于光纤的频率传输技术、发展过程以及国内外最新的研究成
近年来,移动通信场景愈发复杂多变,抢险救灾现场侦测勘察、防疫巡逻监督、山区高地以及海域上空的即时通信等场景通信需求不断增多,现有的传统移动通信系统正在面临着巨大的挑战。无人机(Unmanned Aerial Vehicle,UAV)辅助的通信系统凭借着高移动性和良好的环境适应性的优势,能够弥补传统通信系统的不足;另一方面,无线携能通信(Simultaneous Wireless Informati
人工智能领域在深度学习的发展下不断的推进,如今的深度学习算法已经被各行各业广泛应用,从商品推荐到人脸识别,到处可以看到人工智能的身影。这其中的计算机视觉便是人工智能的一个重要方向。计算机视觉方向包含许多子问题,人体姿态估计便是其中的一项重要技术,传统图像处理方法对于人体姿态估计问题常常利用手工提取特征并将所提取到的特征进行融合,然后分析出相关人体关键点,最终利用图结构进行人体姿态的匹配。人体姿态估