论文部分内容阅读
随着软件定义网络(Software Defined Network,SDN)和网络功能虚拟化(Network Function Virtualization,NFV)技术的发展,SDN和NFV整合网络(SDN/NFV)也在学术界和业界引起广泛关注并取得巨大发展。一方面SDN/NFV对网络技术的发展做出了巨大贡献,如软件定义数据中心、5G网络等;另一方面它们也遇到了许多性能瓶颈问题。在SDN/NFV平台如数据中心,一个网络服务往往要经过一系列有次序的虚拟网络功能(Virtual Network Function,VNF)处理,这种有次序的网络功能组成的链状服务也被称为服务链(Service Function Chain,SFC)。而网络请求的到来和离开普遍具有频繁且随机的特点,网络流量也相应地迅速实时地变化。在这种场景下,现有的SFC调度方案往往会导致VNF或网络节点产生性能瓶颈,进而造成SFC的性能下降。因此需要对SFC进行高效的在线动态调度,降低资源占用及操作开销,同时提升接收网络请求流量。首先,为了解决上述问题,将SFC调度问题建模为一个基于马尔可夫决策过程的多目标优化问题。然后,针对SFC在线调度中网络流量变化快、频率高的特征,提出一个高效的基于深度增强学习(Deep Reinforcement Learning,DRL)的序列化回溯及特征学习的方法(DRL with Serialization Backtracking and Feature Learning,DRLSF)实现自动化、持续化地在线调度。其中,序列化回溯方法的提出是为了有效地解决SFC放置中动作空间太大的问题。而序列化回溯方法的引入会破坏SFC序列化特征,因而提出SFC特征学习方法,通过将后续未放置的VNF加入当前状态实现SFC序列特征的学习。通过仿真实验,验证了DRLSF不仅能够在训练中快速收敛并能高效快速响应网络请求,而且相较于当前先进的研究成果,DRLSF提升了平均20.44%的接收网络请求流量,并提升了平均16.83%的网络服务提供商利润。