基于强化学习的边缘计算服务迁移算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:sd63hs63s3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
边缘计算可以将计算能力和存储能力下沉到网络的边缘。与云计算相比,它可以提供高可靠和低延迟的服务。因此,可以应用许多对时延敏感的服务。嵌入在用户设备中的服务可以连接到离它最近的边缘计算服务器,用户可以得到更好的体验。然而用户的移动性和边缘计算服务器有限的覆盖范围会造成服务中断并且降低服务质量。可以应用服务迁移解决该问题。在服务迁移中,如何选择最优迁移策略和通信策略是一个关键的问题。本文针对边缘计算中由于用户的移动性和边缘计算服务器覆盖范围有限造成的服务不连续的问题,研究了单用户的场景和多用户的场景,提出了基于强化学习的服务迁移算法。首先,提出了单用户场景下基于强化学习的服务迁移算法。针对目前服务迁移模型较为简单的问题,建立了复杂环境下的服务迁移数学模型,综合考虑了资源容量,链路容量,时延等限制条件。将该模型转化为强化学习可以解决的形式。针对该场景,详细定义状态,动作和奖励函数。本文创新性地提出基于Q-learning和Deep Q Network的服务迁移算法。得到了在一个长期的过程中,用户对应的虚拟机的最佳迁移策略和通信策略。仿真结果表明,所提出的算法与其他算法相比,在不同的系统参数下,能达到最优的效果。其次,提出了多用户场景下基于多智能体强化学习和博弈论的服务迁移算法。构建了在复杂环境下多用户的服务迁移数学模型。将该模型转化为多智能体强化学习中的混合任务动态随机博弈问题,求解多个智能体在混合任务动态随机博弈中的长期纳什均衡解。并在整个动态博弈求解每个阶段博弈的纳什均衡解的过程中,设计了求解n人非合作博弈的纳什均衡的智能算法,提出了基于遗传算法的期望总和最大的纳什均衡求解算法。针对该场景,详细定义多个用户对应虚拟机的联合状态,联合动作和奖励。本文创新性地提出基于Nash Q-learning的服务迁移算法。得到了在一个长期的过程中,多个用户对应的多个虚拟机的联合最佳迁移策略和通信策略。仿真结果表明,所提出的算法相比于其他算法,用户对应的虚拟机之间能更好地协作。在保证任务完成的前提下系统整体达到最好的效果。总之,本文研究了在单用户和多用户场景下的服务迁移问题。在单用户场景下,使得整体花费最小。在多用户场景下,在达到长期纳什均衡解的前提下,使得整体花费最小。所提出的算法为边缘计算中用户对应虚拟机的迁移策略和通信策略提供方案。
其他文献
近几年,我国经济发展方式发生了重大的变化,从注重速度,逐渐转变为了注重发展质量。因此,我国的各个行业的发展方式也开始逐步发生变化,工程招标行业也不例外。经过了多年的高速繁荣发展,工程招标行业开始出现一系列的问题,如增长乏力、经营困难、收入减少等。在经济增长方式转变的大潮中,工程招标行业将如何生存和发展,这是一个值得研究的课题。J工程招标公司是J市工程招标行业的头领企业,其脱胎于国企,由于国家要求政
在虚拟试衣、3D游戏、3D电影等相关领域,均离不开三维人体数字化建模的研究。特别是在服装设计、服装订购、虚拟试衣等行业,三维人体建模的精度直接影响后期的效果。在服装应
随着计算机的发展,计算能力的增强,人工神经网络作为模式识别的重要代表性成员也成为了人们的研究热点。其中基于梯度下降(Gradient Descent,GD)算法的反向传播(Back Propaga
发展理念是对发展实践的引领,有什么样的发展理念就有什么样的发展模式、发展道路。共享发展理念是党的十八届五中全会创造性提出的“五大发展理念”之一。在中国转型期与全面建成小康社会的决胜时期,共享发展理念的提出,具有重大的理论价值与现实意义。共享发展理念被提出,就应当内化为被民众认可与接受的价值概念,同时也应当成为道德修养的外在实践,如果这两个目标皆无法达成,那么理念终将只是“理念”,只能停留在纸面上而
随着科技的发展,移动机器人在日常生活和工业生产中得到了越来越广泛的应用,例如:扫地机器人,游戏AI自动寻路,快递自动分拣等。因此,如何规划出一条合理,快速且较短的路径成
现代企业创立的初衷即盈利,在营业收入不变的前提下,如何有效地管控费用将成为公司追逐利润最大化的一个关键因素。费用管理是当前公司治理的重要一环,关于费用粘性的研究,成为近些年管理会计的一个研究热点。中小板上市公司发展至今,对我国经济增长、提供就业岗位做出的贡献不容小觑,它以民营企业为主、拥有较为灵活的治理结构表明具有一定的研究价值。鉴于当前国内缺乏关于中小板上市公司费用粘性问题研究,本文以中小板上市
随着网络安全法的正式实施,监管部门对平台上涉政、色情、暴恐等违规内容的查处整治力度日益加大。美团点评作为全国最大的生活服务平台,对于不良信息一旦审核把控不严会导致舆论炒作甚至监管处罚,对公司造成严重负面影响。为做好对违规内容的防护和拦截,美团点评所有事业部的各类业务都需要接入公司业务安全中心的“保时洁”审核服务。“保时洁”服务提供文字,图片和视频三类违规识别。目前待解决的问题如下:每类业务都有其特
上世纪90年代以来,生活质量问题走入我国学者们的关注视野,政府部门、社会组织等也开始越来越重视我国的生活质量问题。新型城镇化是以人为核心的城镇化。城市发展质量归根结
在次级用户信道检测和动态接入技术的研究中,置信区间上界(Upper Confidence Bound,UCB)算法得到了广泛应用。然而,由于UCB的置信因子较大,次级用户使用UCB算法存在平均吞吐量较低、后悔值较高、以及在时隙很少时置信度过高等问题。在多用户多信道系统中,当多个次级用户选择接入同一条空闲信道时会发生碰撞,解决这一问题的现有的多用户多信道选择机制存在不足之处。其一,每个次级用户在当前
随着企业生产能力的提高,企业生产的产品能够超大数量地供应市场,实际上已经达到了一种供过于求的地步。企业的生产能力过剩,使得企业造成巨大损失,产生这种结果的最主要原因