基于深度强化学习的工业多终端计算卸载研究

来源 :湖南工业大学 | 被引量 : 0次 | 上传用户:zcykf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在传统工业生产车间设备监测与运维过程中,存在边缘端设备难以对车间设备产生数据进行高效实时处理的问题。完整的物联网体系为工业场景提供了更切合实际的服务,工业场景下海量异构的终端设备所产生的任务越发多样化,而终端资源自身的限制导致计算需求不能满足。为了更高效的处理工业任务,边缘计算提供了计算卸载和资源分配等技术,这些技术实施过程存在着与环境的交互,强化学习能够在环境状态不确定的情况下获取良好的决策。深度强化学习将深度学习与强化学习的优势结合起来,可用于复杂环境条件下的决策问题。本文以计算密集型的工业场景为研究对象,针对场景中多终端产生的海量异构任务,构建计算卸载的环境,提出了基于深度强化学习的多终端任务卸载技术。本文的具体工作如下:针对工业场景中的任务受时间约束的场景下,资源分配不合理导致的任务服务低质量的问题,本文提出了基于深度Q网络(Deep QNetwork,DQN)的多任务资源分配方案。研究了多个任务在并发卸载过程中,边缘服务器的资源分配方案对任务处理结果的影响,同时计算资源的分配规则需要与任务关联,需要尽可能多的任务在约束时限内完成规定任务。实验结果表明,任务的处理时限关联分配方案会提高计算资源利用率,在终端数量一定的情况下,所提出的算法可以在规定的时间内准确地完成大部分任务。针对工业多终端任务卸载场景中卸载策略效能低的问题,本文提出了一种基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)的多终端计算卸载策略。对复杂环境下物联网工业场景中终端与边缘服务器进行分析并构建模型,通过将计算服务卸载到边缘服务器的方式,有效缓解工业设备资源和计算密集场景之间的紧迫关系。本文研究了多终端连续卸载动作对系统总任务处理成本的影响。实验结果表明,DDPG算法可以在多终端场景下实现最低系统任务处理成本,在多种工业场景下是可行的。
其他文献
目的:探讨川芎嗪(TMP)对肾结石模型大鼠肾组织氧化损伤的改善作用,阐明其可能的作用机制。方法:健康雄性SD大鼠40只,随机分为对照组、模型组、TMP组和阳性对照组,经预实验后,除对照组外其余各组大鼠采用乙醛酸盐原液80 mg·kg-1腹腔注射构建肾结石大鼠模型,同时TMP组大鼠采用盐酸TMP注射液100mg·kg-1腹腔注射,阳性对照组大鼠采用肾石通颗粒3.12 g·kg-1灌胃,对照组大鼠采用
目的 探讨长链非编码RNA序列相似家族83成员A-反义核糖核酸1(lncRNA FAM83A-AS1)在乳腺癌(breast cancer, BC)中的作用及潜在机制。方法 免疫组织化学(IHC)染色检测BC组织中FAM83A的表达;实时荧光定量PCR(qRT-PCR)检测BC组织/细胞中lncRNA FAM83A-AS1、FAM83A mRNA表达水平;Pearson法分析BC组织中lncRNA
文中介绍了现代猪舍通风与空调的主要形式,分析了现有气流组织设计方案的优缺点,指出了舍内主要有害气体特性及处理方案,提出下送下排上回的设计思路,并从实际设计应用过程给出了建议及对策。
<正>数学建模作为核心素养一项关键部分,在处理分析实际问题时往往可以做到事半功倍的效果.如果能把问题进行模型化,数据就可以可视化,图形就可以立体化.本文从几个具体数学问题案例中揭示数学建模本质,进而有效培养学生的建模思维.六个核心素养中数学建模是最难的一环.下面从模型的构建、完善、还原方面进行高中知识层面的实例分析.一、建立模型构造高中数学建模构建的核心就是几何与代数的有机融合.突破数学代数结构特
期刊
科技成果转化是打通科研成果、助推创新驱动发展的关键环节,并深刻影响创新驱动发展的质量和水平。文章通过构建计量模型,运用我国省级面板数据对R&D经费投入、创新动机与科技成果转化政策实施效果之间的作用机制以及区域异质性进行实证研究。结果表明:R&D经费投入可以改善科技成果转化政策实施效果,且这一激励作用呈现显著的区域异质性特征;受到不同创新动机影响,R&D经费投入促进科技成果转化政策实施效果过程中,实
农村集体产权制度改革是推进共同富裕的基础制度,也是中国推进乡村振兴战略、实现共同富裕的关键一环。农村集体产权制度改革在权利保障、权力运行、能力提升、利益联结等方面发挥机制作用促进共同富裕。在具体改革实践中,存在着改革后续管理不充分、基层组织运行不顺畅、改革成果拓展不完全等问题,需要以推进股份合理流动、“政经分离”改革和配套机制创新协同为路径,进一步巩固拓展农村产权制度改革成果,从而有效实现农村集体
报纸
我国对公路交通安全工程的要求逐年上升,护栏的更新迭代也提上了日程。移动钢护栏优异的安全稳定性和经济适用性可以在起视线诱导作用的同时,防止车辆因失控造成安全事故。本文针对钢护栏的优缺点进行了分析,结论表明移动钢护栏性价比优于固定钢护栏。另外,本研究还对移动钢护栏技术的应用现状进行分析,在此基础上分析了相关技术在交通安全工程中的应用,最后对移动钢护栏技术的发展方向进行了总结。
为了克服诸多采空区煤自燃危险性评价模型和方法的不足,建立了基于改进博弈论赋权的可拓评价模型。依据可拓理论建立经典域、节域、待评价物元和计算指标的关联系数矩阵,运用改进G1法、熵权法、改进博弈论计算评价指标的综合权重,从而确定评价物元的综合关联度,引入置信度和等级赋值识别评价物元的危险等级和排序。采用可拓评价模型对采空区煤自燃危险性进行评价,通过选取16个影响煤自燃的评价指标,建立了采空区煤自燃危险