云边环境下任务的高效卸载与执行故障预测研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:xacxd1964
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术和5G通信网络的快速发展,越来越多计算密集型的智能物联网应用应运而生,例如智能制造、智能交通、智能医疗和虚拟现实等。物联网应用的高效可靠执行对应用性能的提高,以及避免因为故障影响应用的顺利完成至关重要,其有助于提升用户服务质量、提高物联网系统的整体效率并促进物联网应用的发展。任务的高效卸载机制和精确的任务故障预测方法的设计是保证任务高效可靠执行的两个关键因素。在物联网终端设备的任务卸载阶段,可以通过卸载技术将任务卸载到资源丰富的边缘服务器或云服务器上去执行,以缓和物联网终端设备有限的资源与应用程序复杂需求之间的矛盾。然而,由于云边环境下资源的异构性,任务之间存在复杂的依赖关系,以及任务的规模、结构与生成的时间均不确定等因素使得卸载策略的设计变得十分具有挑战性。而在任务执行阶段,被卸载到云端执行的任务由于云环境下的复杂性和动态性,容易在执行过程中发生故障,因此,需要建立精确的故障预测模型,以准确预测故障的发生,以便采取相应措施降低故障的影响。本研究围绕任务的卸载和执行两个阶段遇到的问题展开研究,提出基于策略梯度的在线任务卸载机制和基于Transformer的卸载任务故障预测模型,具体研究工作如下:(1)针对任务卸载机制的设计需要考虑到资源的异构性,任务之间复杂的依赖关系以及任务本身信息的不确定性等因素的问题,本研究将云边环境下的在线任务卸载问题建模成马尔可夫决策过程模型,提出了一种基于策略梯度的在线任务卸载机制(Policy Gradient learning-based Online Multi-Workflow Offloading scheme,PG-OMWO),该方法的具体流程:首先将具有复杂依赖关系的任务建模成以有向无环图形式表征的工作流任务,使用图卷积神经网络提取环境中包含节点属性以及工作流内部依赖关系的特征,并基于该特征构建环境状态。然后,智能体根据环境状态生成决策与环境交互,并根据环境给予的反馈不断优化自身决策水平。PG-OMWO能够处理不定时到达环境中的工作流任务,实时分析当下环境中工作流任务与服务器的状态以决定任务卸载的时机与执行位置,目标是优化随机到达的多个工作流任务的平均完成时间。最后,本研究通过大量仿真试验说明,相比其他具有代表性的基线算法,PG-OMWO在不同的云边环境下始终都能学习到较为优秀的任务卸载策略,拥有最低的平均完成时间。(2)针对任务卸载到云端处理难以精确预测执行过程中是否会发生故障的问题,本研究提出了一种基于Transformer的卸载任务故障预测模型(1DCNNTransformer)。该方法的具体流程:首先,将任务执行过程中的CPU使用率、内存使用率等信息组成时间序列,将任务故障预测问题建模成基于时间序列的二分类问题。然后将一维卷积神经网络与Transformer相结合,通过一维卷积神经网络提取时间序列的局部依赖关系,并通过Transformer核心的多头注意力机制,自适应地为每个时间点赋予权重,提取不同子空间下的全局依赖关系。将1DCNN和Transformer模型相结合,可以互补地提取时间序列的特征,从而提高特征抽取的质量。最后,本研究在谷歌发布的云数据中心集群数据集上进行了大量实验,结果表明1DCNN-Transformer相比先前相关工作,能更加有效地提取时间序列中潜在的依赖关系,在预测的准确率、精确率、召回率、F1分数以及ROC曲线等性能指标上有更好的效果。
其他文献
学位
人们常常需要在一段时间内完成一项项任务或一个个目标,无论是撰写论文还是准备考试。任务能否成功完成不仅取决于所花费的努力,还取决于任务完成的节奏。以往关于任务完成的动态研究多集中在拖延上,实际上人们完成任务的节奏是多元动态的。个体在最后期限前如何分配时间和努力以完成任务,也就是节奏风格,对任务完成的质量、创造性的发挥及团队合作的效率有着密切的关系。目前对节奏风格的研究,存在着概念界定不清,结构模型较
学位
公安队伍承担的一项重大责任和使命就是保卫国家政治安全稳定和维护社会治安秩序稳定,同时公安队伍也开始从治乱走向治理的改革,这也就让警察这个职业的群体在和社会其他职业的群体相对比时往往承担着更大的工作压力。同时由于基层警察自身角色的特殊性,以及身处处置警情和案件侦办的第一线,响应人民群众急难愁盼的最前沿,职业倦怠的现象更是比比皆是。表现出的职业倦怠水平也更加的高,对基层民警的日常工作和个人生活产生了不
学位
弹性伸缩是容器云平台的重要特性,旨在提高应用程序应对负载动态变化的能力。由于传统的响应式伸缩策略存在着弹性滞后以及配置复杂问题,更智能的主动式弹性伸缩吸引了众多学者的关注。主动式弹性伸缩策略通过主动预测未来的资源需求,对可能出现的情况做出预先布置,能够有效避免违反服务水平协议(Service Level Agreement,SLA),提高资源利用率。然而,精确预测未来负载并做出合理的弹性伸缩动作,
学位
随着智能网络的发展,接入网络的移动设备数量已经非常庞大,移动设备端收集到了大量的数据,导致数据传输到云计算中心时存在高延迟的问题。由于移动边缘计算的兴起,使得在智能网络中的移动设备能够获得更高的运行效率,并显著减少了传输时延。然而,传统的移动边缘计算框架存在管理和安全方面的挑战,这是由于其中心化的特性所导致的。区块链技术通过去中心化的架构,将数据和计算能力分散到网络中的多个节点,减少了单点故障的风
学位
数字经济时代,大数据、云计算、移动互联网等新一代的技术催生出了海量的图像、视频、文本等非结构化数据。为了检索这些非结构化数据,通常使用深度学习技术将其转换为结构化向量,再进行向量检索。现在,基于近邻图的方法因其优秀的检索能力,成为了向量检索的主流算法。然而,目前传统的基于近邻图的方法过于依赖内存,在大规模数据下存在着高昂的内存成本。为了解决这一问题,当前的主流方法,如Disk ANN,将高内存占用
学位
在工业4.0的时代背景下,工业领域的各个系统之间数据互通的需求日益迫切。为此,OPC(Object Linking and Embedding for Process Control)基金会提出OPC UA(OLE for Process Control Unified Architecture)作为数据交换的统一标准,它在工业4.0和物联网中是实现智能制造和数字化转型的重要技术之一。在工业生产领
学位
工业互联网的快速发展使得越来越多的工业生产设备和系统接入互联网,带来发展红利的同时也打破了传统工业环境的封闭性和可靠性,给工业系统带来了极大的安全风险。考虑工业互联网环境中设备存在数量多、计算和存储资源受限等特性,基于身份的密码(Identity-Based Cryptography,IBC)体制由于密钥管理简单,无需数字证书和认证中心,与传统的公钥基础设施体制相比更适合工业互联网环境。但目前,I
学位
近年来,攻击者使用更加隐蔽的方式绕过传统的网络安全防御手段,导致安全事件不断增加。为了提高网络入侵检测系统(NIDS)的检测准确性和泛化能力,越来越多的系统开始采用机器学习(ML)技术。然而,基于机器学习的系统容易受到对抗攻击的威胁。为了评估ML-NIDS的安全性,需要对它进行对抗攻击。在黑盒情况下,ML-NIDS无法使用基于梯度或雅可比矩阵的传统对抗攻击方法。这是因为流量模型中的特征提取方法是不
学位
RISC-V指令集架构开源、免费、弹性、可定制的特性,是研发的热点技术之一。基于RISCV的矢量扩展指令集(RVV)支持可变长度的矢量,可以灵活实现数据的高效并行处理,应用前景广泛。论文针对通信和信号处理的应用需求,研究基于RISC-V指令集的矢量扩展加速技术,全文的主要工作如下:1)通过对RISC-V指令集、矢量扩展集以及矢量架构的研究,分析目前两种不同实现RISC-V矢量扩展的方式,结合其各自
学位