基于深度强化学习的多任务卸载策略研究

来源 :广东技术师范大学 | 被引量 : 0次 | 上传用户:chxong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能和无线通信的快速发展,以图像识别、自然语言处理、虚拟现实等为代表的新兴智能应用受到广泛的关注。然而当前的用户设备受到计算资源和能源资源的限制,难以满足这些应用的性能需求。从移动边缘计算(Mobile Edge Computing)发展到多接入边缘计算(Multi-access Edge Computing,MEC),MEC技术通过在靠近终端侧部署计算、存储等资源的方式可以快速响应用户的服务请求,有效降低任务处理时延,提升用户服务体验。计算卸载策略是边缘计算技术的核心组件,设计合适的计算卸载策略能够有效提升网络性能和用户体验。现有的计算卸载策略主要考虑对单个计算任务,单个性能目标的优化,忽略了异构系统中多任务之间的协作关系以及用户之间存在差异化性能需求的问题。深度强化学习具备在动态环境中边交互边学习的特点,适用于求解边缘异构网络中环境动态变化的计算卸载决策问题。本文基于深度强化学习,从不同场景出发,研究了边缘异构网络中的多任务卸载决策问题,主要研究内容总结如下。(1)针对多接入多任务的边-端混合计算卸载场景,提出一种基于深度强化学习的多任务混合卸载策略。对多个计算任务进行全局卸载决策,将其卸载到边缘计算服务器和邻近空闲终端,对长期系统总时延进行优化。同时,利用循环神经网络提取任务和网络状态的特征信息,提高了多任务混合卸载模型的收敛速度和稳定性。仿真结果表明,所提算法可以有效地降低长期系统总时延和终端能耗。(2)在研究内容一的基础上,进一步考虑云-边-端异构网络中不同用户存在差异化优化目标的场景,提出一种基于多智能体深度强化学习的多目标计算卸载优化策略。设计两个强化学习智能体分别为一组时延敏感型任务和能耗敏感型任务进行全局卸载决策,将任务卸载至云计算中心、边缘服务器或邻近空闲终端,对用户差异化的性能需求进行优化。仿真结果表明,所提算法能够满足不同用户之间的差异化性能需求,与时延能耗加权协同优化算法相比具备更好的性能表现。综上,本文针对不同的边缘异构网络场景,根据不同的优化目标分别设计了相应的计算卸载决策算法,对于构建低时延、低能耗、高性能的移动通信网络具有重要的现实意义。
其他文献
近些年,随着我国经济的高速发展和国民生活水平的提高,人们对健康的需求也越来越高。医药产品虽是特殊的商品,但在面向消费者时,仍然需要企业具备合适、专业的营销策略,才能起到企业与消费者良性互动的作用。因此,探究制药企业医药产品营销策略的制定与实施具有一定的现实意义。本文选择JH企业集团作为案例,首先,本文对目前国内的医药市场近年来的发展现状作以说明,对JH企业集团的宏观环境、微观环境的综合考量,选择波
学位
热年代学热史反演的一个重要假设是:“热”是238U自发裂变产生的裂变径迹退火、蚀刻径迹长度缩短的唯一能量来源。因此,通过测量蚀刻径迹长度,可以反推地壳岩石热历史。然而,也有很多证据表明U和Th的α-衰变可能会造成裂变径迹受到α-辐照而退火并缩短,从而深刻影响仅仅基于热退火来反推热历史的实践应用的可靠性。由于锆石普遍含有较高的U和Th,比磷灰石更有可能出现α衰变造成的辐照退火效应。尤其在低温条件下,
学位
自2018年《关于规范金融机构资产管理业务的指导意见》落地以来,刚性兑付被打破,传统固定收益型理财产品将逐步消失,取而代之的是以基金为代表的净值型产品为主,我国居民的投资工具和投资期限与以往相比都将发生明显变化。而与此同时,近年来我国居民个人可支配资产增速明显,商业银行个人财富业务急剧扩容,呈爆发式增长。证券投资基金将成为标准化资产投资转型的重要投资品种,基金代销业务也将成为商业银行个人财富业务的
学位
现代社会生活的压力不断增大,人们每天都在忙于生计,却忽视了自身的身体健康。加之一些不健康的生活作息和饮食习惯更容易患上肥胖、颈椎病、心血管等基础疾病。去一次医院做检查需要花费较多的时间成本,人们为了节省时间怕麻烦往往都会拖延病症,这样反而会错过最佳诊疗阶段。因此,设计一款符合用户需求的人体成分分析仪很有必要。人体成分分析仪能够通过生物电阻抗分析技术快速检测出人体成分含量,帮助用户及时了解自身健康状
学位
近年来,我国光伏产业蓬勃发展,产业整体都在向着更高的水平发展,技术不断创新,规模不断扩张,但也逐渐涌现出了一些问题,由于政策的利好和对于光伏产业的扶持,导致一些光伏企业盲目扩张,一味地追求规模的扩展导致负债激增,另一方面,大批企业涌入市场,导致市场竞争加剧,财务风险也相应骤增。准确识别并有效防范财务风险是企业能够健康长远发展的前提。本文首先对国内外学者对于财务风险预警模型和财务风险相关的文献进行了
学位
环境行政公益诉讼是指检察院在履职过程中,发现在资源保护和生态环境领域内承担监管责任的行政机关,在检察院发出检察建议后,仍不依法履行职责,致使公共利益受损,而由检察院提起旨在督促行政机关依法履行职责的诉讼。其与普通行政诉讼和其他领域的行政公益诉讼均存在一定的差异,但本质上仍属于一种责任追究制度。环境行政公益诉讼的功能在于激励行政机关及政府官员积极依法履行职责,以维护环境公共利益。制度的设计以实现制度
学位
随着信息化的迅速发展,在互联网和大数据时代下,各种公共产品和服务深刻影响了剧院的发展,在一定程度上改变了人们参与剧院服务体验的方式。民众对剧院的参与感和体验感的诉求更加强烈。设计界也越来越重视剧院参与式服务体验设计的研究,更多的设计者投入到服务设计的实践中来,探索出了相关的参与式服务设计策略与方法。尽管参与式服务设计理论发展较为成熟,但是在现实中受传统剧院影响以及各种流行文化的冲击,还有剧院公共文
学位
在移动互联网和人工智能深刻发展的大背景下,手机成了现代生活中最重要的工具之一,也成为竞争最激烈的行业之一。因此对手机行业进行竞争情报研究,可以全息地了解这个行业的发展状况和竞争状况,对于提升手机产品的用户体验和促进手机行业的良性发展具有重要的指导意义。文章旨在分析和构建手机行业竞争情报的分析模式。首先,分析了手机行业发展的发展状况和竞争态势,定义了手机行业竞争情报的具体内涵,并构建了手机行业竞争情
学位
当前,随着人们对健康事业关注程度的增加,全民健康的理念日益深入人心,社会保险和医疗服务保障也越来越受到大家的重视。而在乡村振兴过程中,农村地区居民的基本医疗保险作为社会保障体系发展中必不可少的关键一环,迫切需要通过制度上的规范,来保障我国城乡居民(尤其是农村居民)的基本医疗生活水平,因此,城乡居民基本医疗保险制度应运而生。作为一项具有社会福利性质的基础医疗领域的社会保险,城乡居民基本医疗保险制度不
学位
机械臂因其灵活度高、耗能低等特点,广泛应用于铸造行业、汽车行业等工业领域。传统方法在控制性能上存在一定的局限性,以及人们对其应用场景广泛性、未知性、动态性等要求,催化了机械臂智能化控制研究。深度强化学习的发展使智能体在无需人为提供环境数据下仍可进行自学习,但现有算法存在不同程度的策略更新不稳定及仅适用于离散动作空间等局限性,应用到机械臂控制,使其在高维复杂环境中表现不稳定。因此,针对上述缺陷,本文
学位