基于深度强化学习的路由调度机制研究

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:babyjl1219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着软件定义网络、网络功能虚拟化、第五代通信等新兴技术的发展,在提高网络灵活性和操控性的同时,也对路由、计算、存储等网络资源的高效适配带来了前所未有的挑战。近年来,随着人工智能技术在诸多领域取得的巨大成功,人工智能逐渐成为解决复杂网络控制的重要手段。然而,由于网络状态高动态变化,路由资源多样化且呈现大尺度分布,如何在分布式高动态的网络环境中部署智能能力,实现智能驱动的网络路由资源高效调度成为了学术界的热点问题。针对这一问题,本文提出了一种混合式的人工智能路由机制,针对不同的网络业务和场景,将网络智能能力部署在网络的不同位置。在本文中,我们提出了基于深度强化学习的集中式QoS路由机制、基于“差分回报”的分布式路由框架、集中式的多径TCP的拥塞控制策略和分布式路由计算资源管控方法,实现了对网络路由资源与QoS业务精确适配、分布式路由下智能体协同运行、多子流间的带宽资源高效调控和边缘路由计算资源的智能调度,提升了网络整体效用。本文的主要贡献如下:其一,我们提出了一种集中式的QoS业务流量调度机制,实现了网络流量的动态按需分配。我们构建了一套网络细粒度的控制闭环,通过SDN,带内网络遥测等技术实现了网络细粒度状态的上行链路和网络动作的下行链路,构建了网络大脑与底层网络环境的交互框架。在此基础上,我们使用深度强化学习来有效地解决了实时大规模网络的控制难题。其二,针对集中式网络智能架构所带来的计算和交互压力,我们提出了一种基于“差分回报”的分布式路由算法。每个路由器都作为独立的智能体,通过与周围环境的交互来学习其路由控制策略。同时,我们引入了集中式的网络大脑,通过网络的全局视图来不断修正每个路由智能体的策略,使其收敛至全局最优点。其三,针对当前多个接口的多宿主移动设备,我们提出了一种集中式的基于DDPG的多径TCP的拥塞控制算法,实现了网络吞吐量最优化控制。通过DDPG算法实现了在竞争子流之间有效和公平地分配路由资源。其四,针对时延敏感业务,我们提出了一种分布式路由器计算资源管控机制。将时延敏感业务智能的卸载到网络边缘中进行计算,以减少传输时延。我们将该架构中的资源优化问题建模为斯塔克尔伯格博弈模型。同时,为了寻找该博弈的纳什均衡点,我们提出了一种基于“WoLF-PHC”的分布式强化学习资源分配算法,实现了各智能体自主策略学习并收敛至纳什均衡。
其他文献
中国共产党的执政合法性首先来源于中国共产党的先进性,它是以马克思主义思想为指导的政党,代表着工人阶级和最广大人民的利益,没有自己特殊的利益。中国共产党领导中国人民
木聚糖酶是降解植物半纤维素主要成分木聚糖的最关键的酶,广泛应用在动物饲料、食品、造纸、生物能源等工业。木聚糖酶应用在纸浆漂白工艺中可以减少有毒化学漂白剂的使用量,
开关磁阻电机传动系统(Switched Reluctance Motor Drive,简称SRD)是近年来逐渐应用发展的一种新型机电一体化交流传动系统。因其结构简单坚固、性能可靠、调速性能好等优点,
东北亚位于欧亚大陆的东北部,东临太平洋,由南部的中朝克拉通、北部的西伯利亚克拉通和其间的造山带组成。该区在古生代期间,主要受控于位于西伯利亚克拉通与中朝克拉通之间
5000系铝合金由于其良好的耐蚀性、焊接性与加工性等优点,在航空航天、压力容器和日用设施等领域发挥着重要的作用。随着科技的不断进步与人类生活和工业生产需求的不断提高,
背景与目的 胃肠道间质瘤(gastrointestinal stromal tumor,GIST)是最常见的胃肠道间叶源性肿瘤,发生率为10~20/百万。它可能起源于胃肠道的多潜能间充质干细胞。GIST可以发生
木聚糖是自然界中含量最丰富的半纤维素。内切木聚糖酶是木聚糖降解中最重要的酶。嗜热、嗜盐、嗜碱等嗜极木聚糖酶在食品、造纸、饲料、洗涤等领域都具有重要的应用价值,因
随着网络技术的飞速发展,网络环境存在着海量数据,所以网络安全问题显得尤为重要。网络环境不安全会导致隐私泄露和资源盗用等诸多问题发生,给人们的工作生活带来许多损失。因此,网络入侵检测成为了一个研究热点。网络入侵检测通过对网络信息进行分析从而发现是否存在违反安全策略的行为和被攻击的迹象。网络入侵数据的特征选择对于网络入侵检测而言是至关重要的一个环节,直接影响着后期检测的效果。网络入侵数据维数高和数据规
目的从可行性、稳定性和安全性等方面对巴马小型猪冠状动脉粥样硬化模型进行评价。方法巴马小型猪随机分为对照组(给予基础饲料)和模型组(给予高脂喂饲联合机械损伤),在0、24
目的:本文旨在通过检测T细胞免疫球蛋白黏蛋白-3(T-cell immunoglobulin and mucin domain-containing protein 3,Tim-3)在结肠癌患者外周血及癌组织中yδT细胞表面的表达变化,初步分析其与结肠癌患者临床病理特征之间的关系。进一步研究Tim-3对γδT细胞的增殖、凋亡、分化、细胞因子分泌以及对结肠癌细胞毒性的影响,并初步探讨γδT细胞对结肠