动态网络下基于强化学习的SFC部署算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:A251321741
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络服务的提供与管理日益困难,网络功能虚拟化(Network Functions Virtualization,NFV)技术是解决这个问题的一种方法。NFV将网络功能与硬件分离,并将它们作为软件部署在通用服务器上。该技术可用于提高服务灵活性并保证用户数据的安全性。因此,NFV技术的许多问题被广泛研究。本文主要研究动态单域网络下兼顾负载均衡的动态服务功能链(Service Function Chaining,SFC)部署和动态多域网络下兼顾网络节能的动态SFC部署这两个问题。对于动态单域网络下兼顾负载均衡的动态SFC部署问题,本文提出了Q学习单域动态SFC部署算法,它结合了强化学习中的Q学习来解决问题。问题可以分解为两步解决,第一步,该算法中的强化学习模块负责备选路径集合的训练和输出,根据用户需求生成一些符合部署要求的路径,第二步,负载均衡模块负责对备选路径进行评分,考察其对网络负载均衡的影响,从备选路径集合中选择出最优解。解决问题的过程中,本文还对Q学习的模型建立与训练算法也针对问题进行了改进,大幅提高了训练效率,使算法适应动态网络变化。后续的仿真实验结果表明,该算法能够在较短的时间内输出近似最优解,实现了服务提供者利益最大化的目标,同时考虑了网络的负载均衡。对于动态多域网络下兼顾网络节能的动态SFC部署问题,本文提出了Q学习多域动态SFC部署算法,在前一个算法的成果上进行了升级。首先将多域网络进行分层,形成抽象的顶层网络和各子域网络,接着分别对这些网络进行Q学习的择路训练,当用户服务需求到来时,上下两层中各网络自行输出备选路径,然后考虑到子域隐私保护,各子域择路后上传的是经计算的模糊值,最后网络节能模块得到了各条路径的模糊值,计算取得总分后,输出最佳方案。经过仿真实验后,可得出该算法在成功保护子域隐私条件下,可以在较短时间内输出平均能耗较低的SFC部署方案,该算法拥有较高的部署成功率,进而保证了服务提供商的高利润。
其他文献
药用野生稻(Oryza officinalis)为我国本土野生稻之一,蕴含大量优良农艺性状,是重要的水稻种质资源库。本研究通过对药用野生稻幼苗高温及盐胁迫处理下的转录组数据分析,得到
Hsiao等(2012)提出一种面板数据因果推断方向的政策评估的新方法,这种方法将横截面数据个体之间的相关关系归因于一些公共因子的存在。相比于以往的政策评估方法,他们推理证明了可以用横截面个体的综合数据替代不能观测且难以估计的公共因子,简化了政策未发生的“虚拟事实”的构建过程。本文将从理论与实际两个方向上研究面板数据政策评估方法的稳健性,一方面从这种方法的理论假设出发,进行各种数据设定下横截面个体
曲轴是船用柴油机重要零件之一。在气缸压力、往复惯性力周期性冲击和扭转载荷的联合作用下,曲轴容易因弯曲和扭转疲劳而产生裂纹,从而出现重大的安全隐患。若能够对曲轴裂纹进行有效地监测,及时发现裂纹的存在,就能适时对曲轴进行维修或者更换,从而避免人员伤亡,降低经济损失。本文以锡柴4120SG型柴油机为研究对象,对正常曲轴和裂纹曲轴进行模态计算分析,研究裂纹出现前后曲轴自由模态频率及相应振型的变化规律,探索
目前,苹果病害问题是中国苹果减产的主要原因。在许多地区,每年都会因为病害问题而减产,从而产生巨大的经济损失。运城地区的苹果作为运城地区的主要经济作物,为运城地区的经济产生巨大的效益。然而,由于疾病问题,运城地区的苹果产量减少,从而影响了它们的经济效益。如果能够使用图像识别在苹果得病初期,通过分析其枝叶情况进行分析其得了何种苹果病害,进而进行施药,进行除病。那么将会很大程度的增加苹果的产量。本文基于
DGKs(diacylglycerol kinases),又被称为二酰基甘油激酶,是一类特异、保守的脂质激酶家族成员,其主要功能是将二酰基甘油(DAG)磷酸化产生磷脂酸(PA)。DAG主要通过两种途径产生:一是
体育社会组织是以丰富人民群众体育活动为宗旨,而形成的非营利性、非政府性的群众性体育组织,是推动我国体育事业发展的重要社会力量,在政府、市场、社会和群众之间起到了重
色彩是与人们生活工作密切相关的重要视觉元素,色彩的采集、表示和还原一直以来都是重要的研究问题。特别是在数字化、信息化迅猛发展的当下,各种彩色印刷印染、图形影像技术
组蛋白磷酸化是组蛋白表观修饰方式之一。组蛋白H3第三位苏氨酸的磷酸化修饰是细胞有丝分裂期的标志性事件,磷酸化的H3T3能招募CPC复合物于着丝粒,CPC复合物通过对下游众多蛋
本文以美微传媒网络股权众筹融资为开篇,引出股权众筹在我国存在的合法性及其可能面临的法律风险的思考。由于目前股权众筹在我国的法律规制相对滞后,本文通过股权众筹在域外
本文是关于各向异性的抛物方程的研究,在各向异性变指数Sobolev空间框架下讨论局部解的存在性,研究的主要内容包括利用再模化方法证明了带有对流项的各向异性的非线性抛物方程弱解的存在性,讨论了各向异性变指数方程解的熄灭性,正性以及爆破性.第一章,介绍各向异性的偏微分方程的一些背景和研究现状,给出拟利用空间的基本定义和性质,并列出本文结构的主要内容.第二章,主要研究如下各向异性变指数抛物方程在假设2&