基于优先经验回放DQN的拥塞控制研究

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:weishuren33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心网络(Data Center Network,DCN)在日益增长的计算和存储需求下扮演着越来越重要的角色,SDN(Software Defined Network,软件定义网络)架构凭借其独特的优势逐渐成为数据中心网络中最常用的架构。基于SDN数控分离以及开放可编程的特性,在解决基于SDN架构的数据中心网络的问题时可以有更多的方向和思考。在基于SDN架构的数据中心网络中,控制器可以获得实时网络状态,通过在控制器中部署应用可以更好地了解网络中的拥塞情况并动态地进行调整。但是由于新的网络架构和流量模式不断出现,传统的拥塞解决方案在解决SDN架构下的数据中心网络中的拥塞问题时仍显得力不从心,因此需要提出一种适应性广泛的智能网络流量控制方案。通过将人工智能(Artificial Intelligence,AI)技术引入到拥塞控制的解决方案中,既是网络智能化对拥塞控制方案提出的要求,也是拥塞控制在适应新一代网络架构的能够做出改进的重要方向。我们提出了一种基于优先经验回放DQN(Deep Q Network,深度Q网络)的DCN端到端拥塞控制方法,具备智能化、集中式的特点。本文的主要贡献有:1)针对SDN架构数据中心网路的拥塞控制问题,改进了优先经验回放DQN算法,提出了一种基于优先经验回放DQN的基于流的端到端拥塞控制方法。2)仿真实现了基于DQN、DDQN、优先经验回放DQN的拥塞控制算法,完成功能测试和性能测试。测试结果表明,基于优先经验回放DQN的拥塞控制算法具有最佳的收敛速度和收敛效果。3)基于Mininet和Ryu设计实现了一个拥塞控制系统,该系统采用了基于优先经验回放DQN的基于流的端到端的拥塞控制方法。系统测试结果表明该方法能实现有效的拥塞控制。
其他文献
由于气候变化和人类活动的共同影响,流域水循环过程和水资源时空分布规律不同程度地发生变化,加剧了流域水文特性的复杂性。无论是水文与水资源、环境和生态等重大问题的决策,还是防洪抗旱等均离不开水文模型的支撑。水文模型的研究是水文学研究领域的重要研究内容,通过深入剖析水文现象的物理成因,充分掌握水文现象的内在规律,能够对历史或未来一段时期内水文情势进行定性或定量的科学分析和预测,是水利工程规划建设、水资源
学位
原产地规则作为自由贸易协定的重要组成要素之一,在各大自由贸易协定中都以专章的形式对其进行规定,对国际贸易有着深刻的影响。在国际贸易中,原产地规则能够判定某一产品是否具有享受优惠待遇的资格,在保护成员方相关产业的同时,也对非成员方的产品进入成员方市场造成一定阻碍,从而提高成员方产品的竞争优势。此外,原产地规则也对投资和技术的流动产生着一定的影响。因此,在各大自由贸易协定中,原产地规则都是重点谈判的对
学位
随着信息通信技术的迅速发展和广泛应用,电力系统逐渐成为信息空间与物理空间深度耦合的信息物理电力系统(Cyber Physical Power System,CPPS)。因此,评估和加强CPPS安全对于未来电网至关重要。作为一种典型的攻击方式,虚假数据注入攻击(False Data Injection Attack,FDIA)通过削弱信息完整性来干扰控制决策。FDIA将错误数据引入状态变量(如母线电
学位
清末民初西法东渐,民难告官的局面逐渐发生转变,诉愿制度的创立和实施对此产生了积极的作用。近代通过立法的形式,使诉愿成为民众向官署表达对行政行为意见的主要渠道。诉愿制度以官署处分为提起诉愿的前提,以保护民众权利为该制度的出发点,强调对官署权力的监督和对民众权利的救济。甘肃省档案馆所存档案记载了中华民国南京政府时期诉愿制度在甘肃省的地方化情形,呈现了诉愿制度在甘肃省实施过程中对社会中官民关系产生的影响
学位
近年来,伴随着中国通讯产业的迅速发展,美国的出口管制规则也在不断变化。2020年5月15日,美国商务部产业与安全局(Bureau of Industry and Security,以下简称BIS)对《出口管制条例》(Export Administration Regulations,以下简称“EAR”)进行了重大修改,将直接产品规则(Direct Product Rule)适用情形进行扩大化,进一
学位
组织、领导传销犯罪活动一直以来危害着社会公共秩序和公民财产安全,给社会治安治理带来了不少麻烦。随着社会向信息化、数字化转型,传统传销利用信息时代的便利完成了自身“演变”,逐渐发展成为隐蔽性“升级”、欺骗性增强、传播性扩大的网络传销。网络传销的涉案人数动辄上万,涉案金额更是达上亿元,造成社会危害更加严重。网络传销行为突破了时间限制、地域限制、人际关系限制,几乎所有的网络传销活动都在网络空间中进行,给
学位
20世纪上半叶,美国记者甘露德先后两次来华从事新闻活动。本文在对其两段在华新闻活动所留下的公开资料与私人信件的搜集、整理、分析和归纳的基础上,结合20世纪上半叶中国的民族主义运动、列强(主要是英美)在华报业势力的兴衰以及战时中美合作新闻教育的时代背景,将研究分成了四个部分:第一,弄清楚了甘露德的家世背景、教育经历、来华动机和社交圈层等基础信息,粗线条地勾勒出了甘露德的在华新闻活动轨迹,并且进一步揭
学位
随着信息化时代的发展,组织成员分工的细化程度不断提高,为了更好地完成组织目标,员工在工作任务中的联系越来越紧密,彼此间需要互相帮助、相互支持来促进整体绩效的提高,因此帮助行为在职场中经常发生。职场助人行为作为一种角色外行为,帮助同事或者团体解决工作相关问题,其对组织绩效产生的积极影响已经得到广泛证实。但是在查阅并梳理有关职场助人行为的国内外相关文献时可以发现,关于职场助人行为对施助者产生的影响研究
学位
“向人民申诉”制度简单概括即是:执法官或任何官员未经“向人民申诉”不得处死或者鞭笞罗马市民,该制度设计的初衷是为罗马公民提供一种法律救济,用以限制执政官员任意采用强制措施和制裁手段,包括扣押物品、科处罚金、没收财产、逮捕、监禁、鞭笞等,甚至是判处死刑。拉丁君主制时期申诉表现为一种“非正式求助”,受到氏族宗教的影响与刑事制裁中的神明裁判影响,源于库里亚民众大会上进行的争斗比赛,这成为早期“申诉”存在
学位
移动机器人属于智能机器人,是集多种功能于一体的综合系统。随着社会需求的增加及人工智能技术的发展,移动机器人已经逐渐智能化和自主化,在服务业、制造业、军事、星际探测等领域的应用逐渐广泛。路径规划技术是机器人到达任务目标、完成任务内容的首要条件,是移动机器人实现自主运动的决定性因素,通过路径规划实现自主导航的移动机器人,是移动机器人未来发展的最高目标。多因素的综合作用使得移动机器人在曲面上的智能行走成
学位