论文部分内容阅读
随着互联网的快速发展,网络业务日趋丰富,而业务数据分组已经很难在动态变化的网络中保持高效路由。作为一种未来网络架构,智慧协同网络解耦了控制平面与数据平面,依托集中式的网络管控与组件调度实现了对数据分组路由的灵活掌控,然而其路由机制仍然需要进一步完善:(1)针对特定业务的路由需求,路由机制可以智能地为数据分组规划性能最优的转发路径;(2)路由机制可以实时感知网络环境的动态变化进而对数据分组转发路径进行调整。基于以上背景,本文在深入调研现网与未来网络路由机制的基础上,依托智慧协同网络架构与强化学习技术,设计并实现了面向特定业务、适配动态网络环境的智慧协同路由机制,具体工作如下:首先,本文分析了路由机制的功能、性能需求,设计了机制的整体架构与功能子模块,详细阐释了模块的部署、功能、原理以及模块间的交互,其中:(1)针对特定业务的路由需求,在机制的强化学习训练模块中设计了基于离线的Q-Learning、在线的Sarsa、利用资格迹的Sarsa(λ)的路由算法,智能地为业务数据分组规划了性能最优的转发路径。(2)面对网络环境的动态变化,在机制的网络感知模块中通过触发更新与定时更新机制对网络拓扑与链路状态进行监测,据其更新环境奖励值,进而重新训练调整最优转发路径。(3)此外,在路由需求感知模块中定义链路QoS(Quality of Service)性能;在链路QoS性能分级模块中进行链路分类并设定环境奖励;在转发表生成模块中配置转发表内容用于指导组件转发。其次,本文基于一定的实现流程、开发环境及框架对各个模块进行了代码实现,对实现过程中关键的数据结构、函数、类及类方法等进行了详尽的介绍;一并探讨了将路由问题建模为强化学习任务的过程以及环境奖励的设定原则,据此提出了一种基于人为环境奖励设定的路由控制方法。最后,本文搭建仿真平台对路由机制进行了功能与性能测试,验证得到:(1)基于强化学习的路由机制成功地为特定业务数据分组规划了最优的转发路径;(2)部署优化的强化学习算法带来了机制性能提升;(3)动态网络环境下,机制可以重新规划转发路径,相较于基于最短路径优先的传统路由机制在传输性能上具有优越性。