基于强化学习的智慧协同路由机制研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yaoyao1021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,网络业务日趋丰富,而业务数据分组已经很难在动态变化的网络中保持高效路由。作为一种未来网络架构,智慧协同网络解耦了控制平面与数据平面,依托集中式的网络管控与组件调度实现了对数据分组路由的灵活掌控,然而其路由机制仍然需要进一步完善:(1)针对特定业务的路由需求,路由机制可以智能地为数据分组规划性能最优的转发路径;(2)路由机制可以实时感知网络环境的动态变化进而对数据分组转发路径进行调整。基于以上背景,本文在深入调研现网与未来网络路由机制的基础上,依托智慧协同网络架构与强化学习技术,设计并实现了面向特定业务、适配动态网络环境的智慧协同路由机制,具体工作如下:首先,本文分析了路由机制的功能、性能需求,设计了机制的整体架构与功能子模块,详细阐释了模块的部署、功能、原理以及模块间的交互,其中:(1)针对特定业务的路由需求,在机制的强化学习训练模块中设计了基于离线的Q-Learning、在线的Sarsa、利用资格迹的Sarsa(λ)的路由算法,智能地为业务数据分组规划了性能最优的转发路径。(2)面对网络环境的动态变化,在机制的网络感知模块中通过触发更新与定时更新机制对网络拓扑与链路状态进行监测,据其更新环境奖励值,进而重新训练调整最优转发路径。(3)此外,在路由需求感知模块中定义链路QoS(Quality of Service)性能;在链路QoS性能分级模块中进行链路分类并设定环境奖励;在转发表生成模块中配置转发表内容用于指导组件转发。其次,本文基于一定的实现流程、开发环境及框架对各个模块进行了代码实现,对实现过程中关键的数据结构、函数、类及类方法等进行了详尽的介绍;一并探讨了将路由问题建模为强化学习任务的过程以及环境奖励的设定原则,据此提出了一种基于人为环境奖励设定的路由控制方法。最后,本文搭建仿真平台对路由机制进行了功能与性能测试,验证得到:(1)基于强化学习的路由机制成功地为特定业务数据分组规划了最优的转发路径;(2)部署优化的强化学习算法带来了机制性能提升;(3)动态网络环境下,机制可以重新规划转发路径,相较于基于最短路径优先的传统路由机制在传输性能上具有优越性。
其他文献
在中共中央和湘赣省委的领导下,湘赣革命根据地的统一战线工作取得了重大的成就,也遭受过严重的挫折,既有成功的经验,又有沉痛的教训,对当前我国统一战线工作的开展具有深刻的历史
现代人的生活节奏越来越快,对后勤保障的要求越来越高。为了保障电厂安全、平稳的运营,有必要加强安全管理。电厂化学水的处理是电厂安全管理的重要环节。生水在没有经过化学
<正>专利号:ZL200420114078.8专利权人:宝钢集团上海梅山有限公司发明(设计)人:张正联王海军本实用新型涉及一种新型气密箱置换气体装置,解决了闭路循环水冷却氮气气封装置成
目的探讨经皮球囊扩张椎体后凸成形术治疗椎体压缩性骨折的临床效果。方法应用经皮球囊扩张椎体后凸成形术治疗骨质疏松性椎体骨折的82例为研究对象。对所有患者分别进行术前
约翰.菲斯克认为大众文化是大众利用现有文化资源进行创造性活动的活生生的实践过程,是“有啥用啥”或“权且利用”的艺术。约翰.菲斯克的大众文化定义观建立在其文化观、大
选取江苏省X县为研究个案,通过观察法、访谈法获取研究资料,运用社会政策研究过程视角理论,分别从政策的传送、政策过程中的互动关系、政策过程中的双重主体以及政策过程中的
自2000年开始,随着数字化和虚拟平台的日益壮大,原本传统的图书出版、销售产业链遭到了一定的冲击,实体书销售骤减,纸质媒体也遭受影响。虽然书籍和报纸刊物曾作为人们阅读的
国家形象的塑造问题日益得到关注.通过抗战史的影像抒写,抗日剧形象地塑造了特定历史时期的中国形象.这种国家形象满足当代读者的情感诉求,也符合人们对国家富强、人民自尊的
目的本文对临床护理路径在急性胆囊炎患者围术期的应用效果进行探讨。方法选取2015年10月~2016年10月我院近收治的94例急性胆囊炎手术患者,按照入院先后顺序将其分为实验组(n
<正>专利号:ZL03231200.8专利权人:宝钢集团上海梅山有限公司发明(设计)人:毛志勇本实用新型涉及一种曲柄钢丝绳式翻板执行机构,由电动机、抱闸、主令控制器、蜗轮蜗杆减速机