基于可编程硬件的网络流量调度优化技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:dickui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着应用复杂性以及其所需处理数据量的不断增加,从工业界到学术界,越来越多的用户开始选择将应用部署在数据中心中来满足相关的资源需求。而作为数据中心的重要组成部分,互联网络很大程度上决定了数据中心工作效率的高低与用户程序性能的优劣。与此同时,网络领域也迎来了两种重要的新技术,软件定义网络(Software-Defined Networking,SDN)以及可编程硬件。SDN网络大大减轻了管理员日常网络运维的负担,而可编程数据平面则打破以往数据层功能固定的限制,进一步为SDN网络带来了更多灵活性。在这样的趋势下,如何利用可编程网络硬件,来提升数据中心中服务以及应用的性能,是充满挑战同时也极具现实意义的研究方向。本文紧跟上述研究方向,重点关注三种数据中心中重要的基础服务,基于可编程网络硬件,针对性的优化网络流量调度算法来提升它们的性能。本文的主要工作和创新点包括:1.由于热点数据的存在,数据中心中的分布式数据库往往面临负载分布不均的问题。为此,本文利用可编程数据平面以及SDN技术,在单个可编程交换机内部完成数据库的负载均衡任务。本文针对任务的需求、可编程交换机的硬件特点等,将负载均衡任务分为两个部分,分别在交换机CPU以及ASIC流水线上实现。我们基于Tofino可编程交换机完成了原型系统的实现,从负载均衡效果、扩展性等方面进行了测试,验证了所设计方法的有效性。2.数据中心中的诸多任务对于各类资源都会进行竞争,尤其是网络资源,很大程度上决定了任务的完成时间。因此,在本文中,基于不同类别应用的网络需求,我们设计了一种全局式的流量调度策略。首先我们通过对任务网络传输情况的分析总结,提出了最晚到达时间的概念。然后在此概念的基础上,设计了调度策略,可以在保证性能的同时,最小化计算图类任务的网络带宽占用,然后将空余的网络资源分配给其它任务。从而达到提升数据中心网络的整体效率的目的。实验结果表明本文设计的策略可以有效减少任务完成时间。3.鉴于可编程设备在数据中心网络中的部署通常是以增量部署的方式进行,在此前提下,本文以基于sketch的网络测量任务为例,设计了一种混合可编程网络环境中的测量方法。该方法首先基于网络历史流量信息或者网络拓扑结构,选取最合适的可编程交换机的部署位置,来优化sketch测量模块的流量覆盖率以及测量数据品质。然后利用SDN技术,收集并选取sketch上的测量数据,完成整个测量任务。4.为了提升网络中已部署可编程硬件的测量效率,我们设计了一种SDN动态路由算法,更加有效的减少sketch测量的误差。该策略结合sketch测量与可编程硬件的特性,通过路由的决策以及sketch的配置来提升各个sketch测量点的准确性。然后,在离线策略的基础上,我们还提出了一种动态的路由调整算法,可以在允许的开销范围之内,针对网络中拓扑以及流量特征的变化完成路由策略的调整,进一步提升测量任务对于网络的适应性。
其他文献
近年来,随着世界主要大国对外层空间的不断开发,在轨航天器数量持续增多,太空环境日趋复杂,我国的太空资产安全和国土信息安全正面临前所未有的挑战。传统的依托轨道信息的空间目标位置感知已无法满足空间活动的现实需要,亟待提升对高价值空间目标外形结构、三维姿态等精细信息的在轨感知能力。目前,以天地基光学和陆基雷达为代表的成像观测设备为空间目标精细感知提供了数据基础。然而在太空的特殊场景下,观测视角的限制、观
学位
双基地MIMO雷达能够充分利用发射阵列和接收阵列的阵列孔径扩展能力来实现良好的目标参数估计性能,国内外众学者对双基地MIMO雷达进行了深入广泛的研究。针对当前双基地MIMO雷达角度参数估计中面临的短板,本文提出一系列新的方法来实现双基地MIMO雷达中高精度的角度参数估计。本文详细的研究内容和创新点如下:首先,研究了稀疏恢复求解算法在双基地MIMO雷达角度参数估计中的应用。针对常规子空间类算法在小快
学位
界面载流子动力学过程在二维纳米材料异质结电子和光电器件中扮演着重要作用,其中载流子的层间转移方式和能量利用率是影响器件性能的主要因素之一。本文基于自主搭建的显微宽光谱泵浦-探测平台,对二维/三维(2D/3D)混合钙钛矿、石墨烯-过渡金属硫化物(G-TMDs)两类典型的二维材料异质结的超快载流子动力学过程进行了系统的实验和理论研究,深入剖析了不同光子能量激发下电荷和能量转移过程,发现了2D/3D混合
学位
程序合成是根据用户意图自动生成相应程序代码的软件开发活动,它是软件工程领域一个重要的研究方向,也是编程理论中最核心的问题之一。基于组件的程序合成是程序合成技术中一个重要分支,它是通过对给定组件库中的组件进行组合来得到目标程序的方法,通常用于生成不含分支循环等控制结构的程序。随着软件系统复杂程度的日益增长,应用程序编程接口(Application Programming Interface,API)
学位
空间、深海及核能等应用领域的机电装备,因其工作环境恶劣,其中的功能电路极易出现故障,且故障后人工维修极为困难甚至不可达,客观上要求其具有高可靠性和环境适应能力。相对于传统多模冗余容错方法,自修复硬件是一种以较小冗余粒度与资源消耗实现功能电路高可靠性和环境适应性的新技术途径,具有系统容错能力强、环境适应性好等特点。动态布局是自修复硬件实现结构调整、完成功能恢复的关键技术环节。针对目前动态布局方法存在
学位
高精密激光加工、空间激光应用、非线性光学等众多新兴领域需要脉冲激光器作为光源,不仅需要激光器的平均输出功率达到一定水平,而且对脉冲峰值功率以及脉冲宽度有着特殊的要求。锁模光纤激光器可以产生高峰值功率、飞秒至纳秒各个量级脉宽的脉冲,具有极强的研究价值和应用潜力。人眼安全的1.6μm波段激光不仅是相干多普勒测风雷达、脑组织成像的理想光源,而且在拓展光通信信道和气体探测等领域应用广泛,同时对比1.5μm
学位
无人飞行器近年来发展势头强劲,从军事战场杀伤利器,到日常百姓拍照摄影,无人机时代的来临,势不可挡。我们是否已经做好拥抱这个时代的准备?可能还没有,当操控无人机的不是百姓,而是恐怖分子时,我们将不知所措。本文关注无人机反制领域,研究基于全球卫星导航系统的无人机导航欺骗关键技术问题。作为反无人机技术之一,导航欺骗是指通过发射虚假的卫星导航信号,使得采用卫星导航作为时空信息来源之一的无人机达成欺骗方,而
学位
类脑计算是一条通过模仿生物神经网络的组织结构和学习机制来实现人工智能(Artificial Intelligence,简称AI)的技术路线。人脑可以仅用~1.2L的体积和~20W的功耗实现我们人类已知的最高级最普适的智能,通过模仿人脑的神经系统,我们有希望实现满足未来社会发展需求的高级智能。脉冲神经网络(Spiking Neural Network,简称SNN)是类脑计算最具代表性的算法,具有基于
学位
在联合信息环境中,军事信息服务为联合作战任务提供信息支持,这一过程即为联合信息服务。联合信息服务依赖于在异质多源数据有效整合基础之上的信息管理和分析技术。图数据广泛的建模能力,可以有效整合多源异质数据,因此,论文提出一种面向图数据建模的信息技术解决方案。论文首先研究了图数据管理中的重要任务–图数据挖掘。图数据中往往具有不确定性,这种不确定性,可以通过边上具有存在概率的不确定图建模。频繁模式挖掘任务
学位
精确的时空信息对航天器轨位保持以及业务开展具有重要作用,是航天器遂行任务的重要基础。虽然测定轨方法众多,但各有优缺点,并不能完全解决航天器高精度轨道确定的问题。传统的地面定轨再将轨道上注给卫星的模式存在通信压力大、信息滞后的问题,不能满足航天应用日益增加的实时性需求。随着北斗三号系统全面建成,基于北斗星间链路的测定轨成为用户航天器进行自主定轨的一种可行方案。北斗星间链路采用并发空分时分双工星间链路
学位