基于深度强化学习的服务链部署机制研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:lvyuxuan3652008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网产业蓬勃发展,网络设备数量的激增给网络服务提供商带来了巨大挑战。为了满足不同网络服务需求(如防火墙、代码转换和网络地址转换等),必须在网络中部署不同的专用硬件设备。但是,为每个新网络功能部署专用硬件设备导致网络服务提供商资本支出和运营成本难以降低。最近,网络功能虚拟化的出现为解决这些挑战提供了重大机遇。在支持网络功能虚拟化的网络体系结构中,网络服务可以以通用计算节点上的一组有序的虚拟网络功能来实现,这些虚拟网络功能被称为服务功能链(简称服务链)。服务链部署的主要问题是如何实现在功能位置和服务链需求的约束下找到合适的服务功能部署方式。本文主要研究了基于深度强化学习的服务链部署方法。首先将网络环境建模为一个包含节点和链路的无向图,定义网络总时延由处理时延和传输时延两部分组成。考虑到网络资源有限性,给出了网络资源约束公式,并根据柯西不等式提出一个判断网络负载均衡的方法。根据网络动态特性,将其资源部署过程建模为马尔可夫决策过程,并详细描述了在马尔可夫背景下,状态、动作、奖励在网络环境中的定义。综合考虑负载均衡和时延优化问题,得出本文服务链部署的优化目标。为求解该问题,本文设计了一种基于深度强化学习的服务链部署框架,并提出了一种基于深度确定梯度策略的服务链部署算法。服务链部署过程中集中式解决方案会给整个系统带来太多的通信和计算开销。另外,分布式解决方案面临着严重的收敛问题。为解决网络中的多用户服务链部署问题,本文将多用户竞争行为抽象为马尔可夫博弈问题。为了结合分布式解决方案和集中式解决方案的优点,设计了一种基于集中式训练和分布式执行策略的混合智能控制框架,并提出了一种基于多智能体强化学习的服务链部署算法。通过仿真结果和分析证明,本文提出的算法不仅能够提高网络资源利用率,而且在响应速度上具有明显的优势。
其他文献
随着无线通讯技术的迅猛发展,移动互联网使得人们在移动状态中能够随时随地访问互联网资源,使用网络服务。以手机,平板电脑为代表的移动智能终端迅速普及,人们的生活习惯也随之变化。例如,移动定位技术可以帮助人们寻找停车位,寻找餐馆;移动众包技术可以利用尽可能多的移动终端快速实时地记录各种各样的数据,为强大的工业系统提供支撑。但是移动用户的信息如果被不经意泄露,甚至被恶意上传时,敌手就可以推断出参与者的位置
学位
当前云计算与虚拟化的迅速发展以及混合云架构的广泛使用,为政府和企业带来了数据与业务的新载体,并为其信息化建设提供了坚实基础,促进政企数据及业务上云的进程。政企在云环境应用中,具有多样的、差异化的需求,云环境也随之变得愈加复杂。私有云与公有云的搭建与部署也带来了混合云架构的广泛使用,而混合云在满足建设者不同需求时也带来了异构多云面临的问题。多云环境下的云服务,虚拟机作为其服务单元和基本载体,直接决定
学位
随着网络用户隐私保护意识的增强,匿名网络的使用者越来越多。为了满足更多的用户,匿名网络中的志愿者节点随之增加。现有的中心式目录服务将整个网络的目录信息分发给每个节点的分发机制,使得其带宽消耗与节点规模呈二次方增长,缺乏可扩展性。而分布式目录服务由于没有可信的认证机制,其抵御攻击的能力有所欠缺。为了提高匿名网络目录服务的可扩展性,同时保证其安全性,本文提出了 一种混合式匿名网络目录服务架构(Hybr
学位
随着网络的飞速发展,人们对于数据安全信息安全的要求与日俱增,数据加密传输成为保护用户隐私以及保证网络安全的主要手段。但网络加密在保证用户数据保密性和完整性的同时,越来越多的攻击者也企图通过加密来隐藏攻击行为,通过Https进行C&C连接以传输指令以及通过加密绕过防火墙及入侵检测系统等,这为恶意流量识别带来了新的挑战。如何在不解密流量保护用户隐私的前提下,有效地检测恶意加密流量成为了亟需解决的问题。
学位
工业互联网[1]在工业生产,制造,销售,物流各个方面都发挥了重要作用,并且随着5G移动通信技术的广泛应用,低时延、大带宽的通信技术得到广泛普及。工业互联网中核心技术的标识解析更实在实现信息共享溯源、网络互通互联、产品设备全生命周期管理的各个方面都发挥了重要作用。但是现有的传统标识解析体系的根节点权力过大,中心节点提供集中式的解析服务,同时现有的Handle、Ecode、OID等标识解析系统标准很难
学位
近年来,随着数字货币价格的高涨,越来越多的电子设备被投入到了挖矿活动中,造成了电力和计算资源的浪费。据IBM的报告显示,挖矿木马已成为当前云环境中主流的恶意软件。对挖矿活动的检测在能源和网络安全方面都有着重要意义。币种识别是一种更精准的挖矿检测方法,有助于对挖矿活动进行更精细化的管理。本文基于Adaboost算法,提出了一个挖矿检测模型和币种识别模型,挖矿检测模型的准确率能达到97%,币种识别模型
学位
网络安全评估是网络安全研究领域一个重要方向,其理论研究成果颇丰,但其应用方向缺乏对场景特殊性和当前新技术的研究。现今应用背景下,系统部署、运行愈发复杂,系统高性能稳定运行离不开负载均衡技术。然而在微服务、容器云等技术愈发成熟的今天,现有技术框架提供的负载均衡功能仍存在不足,难以符合网络安全评估系统应用发展的需要。首先研究Kubernetes平台负载均衡策略的缺陷,提出一种自适应负载均衡算法,并在K
学位
以Docker为代表的容器技术的飞速发展,将云计算推向新的时代。容器技术凭借轻量级虚拟化、隔离性强、启动快、可移植等优势,成为企业应用部署的热门工具,可以说已经占据云计算领域的半壁江山。而Kubernetes容器编排平台自谷歌于2014年开源以来,就因其先进的设计理念、强大而完备的容器编排和集群管理能力,受到业界的高度关注,已成为容器编排领域的事实标准。本文通过分析Kubernetes及其批量任务
学位
信息化的发展与5G时代的到来将网络安全行业推向了顶峰,作为保障网络安全产品质量的产品测试环节也面临着严峻的考验。由于测试项目的时效性和不确定性以及大部分项目的不可回退性等特征,使得测试在实际的项目中所处的位置要比其他环节具有更高的风险性,并且测试风险一旦出现在项目的验收阶段,那么极有可能对项目造成不可挽回的后果,因此产品测试的风险管理从某些方面来说可以决定整个项目的成败。一个完整的项目其实测试的时
学位
学位