网络功能虚拟化技术（Network Function Virtualization,NFV）通过将网络功能与专用硬件设备解耦,使网络服务的部署更加便捷和灵活。通过利用NFV技术,网络服务提供商（Service Providers,SPs）可以在不同位置的数据中心（Data Center,DCs）内部署虚拟网络功能（Virtual Network Functions,VNFs）以构成各种类型的VNF服务链（VNF Service Chains,VNF-SCs）,为不同地区的用户快速提供多样化的网络服务。与此同时,随着游戏,视频会议等数据/带宽密集型业务不断产生,流经VNF-SC的流量呈现大带宽、高突发性和高动态性等特点。由于弹性光网络（Elastic Optical Network,EON）通过灵活频谱槽分配机制,可以轻松地应对具有高吞吐量和高突发性的VNF-SC流量,因此数据中心间弹性光网络（Inter-DCs EON,IDC-EON）被认为是理想的支撑NFV的底层网络设施。为了在IDC-EONs中提供实时且经济的网络服务,SPs需要在合适的DCs内部署所需的VNFs,并构建DCs之间的光路,以组成VNF-SCs。该过程被称为VNF-SC编排。其主要存在以下三个方面难点:·过长的VNF-SC配置时延。由于IDC-EON中一个VNF-SC编排过程包括多个VNFs实例化和多条光路配置,因此它的总配置时延通常可以达到分钟量级。这将极大损害时间敏感型业务的服务质量（Quality of Service,QoS）。·VNF-SC编排中的光路构建。光路构建过程包括路由和频谱分配（Routing and Spectrum Allocation,RSA）,其已被证明是NP难问题,而地理跨度范围广的IDC-EON通常包含多个不同的运营商,考虑异构性和运营商自治性的跨域RSA问题将更加复杂。·动态IDC-EON的VNF-SC编排。VNF-SC编排需要联合考虑VNF放置和RSA,实际IDC-EON中时变的网络状态将使得联合优化过程更加难以实现。针对以上三个关键难点,本文借助深度学习（Deep Learning,DL）和深度强化学习（Deep Reinforcement Learning,DRL）等智能算法在高维数据预测、复杂决策等问题上的优异性能,从1)基于预部署的VNF-SC编排框架,2)基于多智能体强化学习的可扩展跨域光路构建和3)基于分层深度强化学习的动态VNF-SC编排展开研究,以实现IDC-EON中经济、自适应且可扩展的网络服务部署。本文的具体工作如下:基于预部署的VNF-SC编排框架。为了应对长配置时延,本文首次提出了基于预部署的VNF-SC编排框架。该框架基于周期性VNF-SC请求服务流程,每个服务周期包括一个预部署阶段和一个服务阶段:预部署阶段利用基于DL的请求预测模块预测当前周期即将到达的请求,并进行资源预部署;之后在服务阶段,请求的数据流只需按照次序经过预部署的VNF-SC资源即可,该过程通常可以在数百毫秒内完成。为了实现准确的VNF-SC请求预测,本文构建了基于长短记忆单元（Long Short-Term Memory,LSTM）的DL模型,并针对VNF-SC请求的高维数据特征设计了损失函数和训练算法。使用真实网络数据进行仿真的结果表明,基于LSTM的DL模型相比另外两个采用相同编排框架的对比模型实现了更低的预测误差和请求阻塞率。此外,为了进一步提高该框架在动态负载网络场景下的适应性,本文引入了基于DRL的监测模块DRL-Decision来根据网络负载状态自适应地调整服务周期。为了保证动态场景下训练的收敛性,DRL-Decision是基于Actor-Critic设计的,其包含一个决策服务周期的Actor神经网络（Neural Network,NN）,同时包含一个用于评估和指导Actor NN决策的Critic NN。不同动态负载下的仿真结果表明,DRL-Decision在多个异步训练线程的加持下可以快速收敛,同时引入DRL-Decision改进后的框架可以在不同动态负载场景中实现资源利用率,重配置次数和阻塞率之间的平衡。基于多智能体强化学习的可扩展跨域光路构建。为了应对多域IDC-EONs中RSA问题存在的高计算复杂度和域自治性限制,本文提出了基于合作式多智能体的路由框架DeepCoop,并设计了考虑域自治性的协作机制以实现可扩展的跨域光路构建。具体地说,它在每个域内部署一个DRL智能体来优化每个域内路由,同时利用一个域级路由计算单元计算跨域路由所需经过的域序列。智能体之间的协作通过有限的状态共享和合作式奖励计算实现。为了保证普适性和可扩展性,每个DRL智能体的动作被设计为RSA启发式算法选择。大量仿真结果表明,DeepCoop可以适应不同的动态多域EONs环境（例如不同拓扑,不同流量负载）,并可以在不同网络状态中选择最合适的RSA算法以最小化长期请求阻塞率。此外,本文验证了 DeepCoop的分布式训练方案对于不同规模拓扑的多域EONs的可扩展性以及普适性。基于分层深度强化学习的动态VNF-SC编排。为了准确描述动态IDC-EONs中的状态转移过程,本文将动态IDC-EONs中的VNF-SC编排过程建模为马尔科夫决策过程（Markov Decision Process,MDP）,并提出了基于图神经网络（Graph NN,GNN）的分层深度强化学习模型（Hierarchical DRL,HRL）。为了保证模型的普适性和可扩展性,HRL的策略NN是基于GNN设计的。因为基于GNN的策略NN能够直接对图结构的IDC-EON状态进行特征提取,它可以不加任何修改的应用于任意规模或形式的IDC-EON拓扑。本文通过分析以最小化长期阻塞率为目标的VNF-SC编排过程发现,动态IDC-EON是一个稀疏奖励环境。为了应对该问题,本文设计了具有上、下两层DRL模型的HRL以改善训练收敛性。其中下层以优化每个VNF-SC编排过程的资源使用率为目标,而上层协调所有到达的VNF-SC请求的编排来最小化长期阻塞率,两者在训练过程中协作优化动态IDC-EON中的VNF-SC编排。仿真结果验证了 HRL的普适性和可扩展性,同时表明它可以实现相比现有VNF-SC编排算法更优的性能。