集群环境下异常作业预测方法研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:chinajiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于大数据与云集群计算技术的不断发展,用户能在越来越多的使用场景中享受云集群技术带来的便捷高效。近年来,云集群作业及其计算过程造成的数据安全事故频发,引发行业对集群作业本身以及作业计算过程的安全性的关注。因此,集群环境下高效的异常作业预测方法的研究已经成为热点。本文从作业子任务角度考虑作业异常,首先叙述集群环境下异常作业预测方法的基础理论,并分析现有异常作业预测方法的不足;之后阐述并说明集群作业处理机制及作业运行状态与其状态相关性;叙述作业子任务运行的不同阶段预测方法技术中的支持向量机(support vector machine,SVM)模型预测原理并分析门控递归单元(gated recurrent unit,GRU)神经网络预测作业时的优缺点。其次,针对现有集群环境下异常作业在线预测方法预测效率低、预测时间长且未考虑作业相关性等问题,设计一种基于改进门控递归单元神经网络的集群异常作业在线预测方法(online cluster anomaly job prediction method based on improved gated recurrent unit neural network,OCAJP-IGRU)。方法先设计作业子任务的动态特征计算方式,并依据此动态特征设计一种改进的门控递归单元(improved gated recurrent unit,IGRU)神经网络用于提高在线实时预测任务终止状态的效率;再依据作业的状态相关性检索异常作业。实验选择GRU方法、异常频率阈值学习算法(abnormal frequency threshold learning algorithm,AFTL)、在线序列极限学习机模型(online sequential extreme learning machine,OS-ELM)与OCAJP-IGRU方法对比预测效率及预测时长。实验结果表明,OCAJP-IGRU方法在现有的集群环境下的异常作业在线预测方法中具有较高的预测效率与较短的预测时长。最后,为进一步提高异常作业预测方法的预测效率并缩短预测耗时,提出一种集群异常作业分段预测方法(staged cluster anomaly job prediction method,SCAJP),方法在OCAJP-IGRU预测之前增加离线预测阶段。离线阶段的预测选取作业子任务静态特征并采用SVM根据静态特征预测作业子任务的终止状态,并根据作业的状态相关性检索异常作业;在线阶段仅预测离线阶段结果正常的作业。设计实验对比分析SCAJP方法、OCAJP-IGRU方法、SVM方法及OS-ELM方法的预测性能,实验结果表明SCAJP方法的预测性能明显优于其它预测方法。
其他文献
保护未成年人合法权益,关注未成年健康成长,是一个国家和民族可持续健康发展的重要任务。未成年人保护工作是一项涵盖了司法保护、社会保护、学校保护和家庭保护等各方面,需
极化码是一种理论上可以达到香农极限的信道编码方案,因其具有优秀的译码性能而被广泛的研究。在第五代移动通信系统(5th Generation of Mobile Wireless System,5G)中,极化
我国当前正在积极大力推进医药分开和处方外流的改革,将原属于医院的药事服务下放到社会药店,旨在切断错综复杂的医药利益关系链、减少患者排队拿药时间,是剂治疗“看病难”
目录一、引言二、新型全球化的有效推进方案三、"一带一路"建设面临的机遇和挑战四、CCG有关深入推进"一带一路"国际合作共赢的二十条路径建议五、附录:CCG"一带一路"专题研
会议
细胞芯片是指含有二维(2D)或三维(3D)培养细胞的芯片型微反应器,主要包括带有灌流装置的微流控细胞芯片和非灌流细胞芯片(non-fluidic cell chip,例如静态培养的微孔和微阵列细胞芯片)。在众多材料中,水凝胶作为“软而湿”的材料,与人体组织器官的物理特性最为接近,因此成为细胞芯片构建材料的最佳选择之一。然而,传统的水凝胶在水溶液中会发生显著甚至严重的溶胀,一方面大大削弱了其机械性能
在移动互联网快速发展的背景下,新兴商业模式随着技术的发展不断涌现,商业模式价值与地位不断提升,然而与此同时,涉及商业模式的侵权行为也不断增多,既损害了商业模式所有人
Metropolis光线追踪算法是一种基于马尔可夫蒙特卡罗的无偏的全局光照算法,在一些复杂的光照场景中有很高的路径搜索效率,其渲染效果好且鲁棒性强。但是在局部明暗混合位置Metropolis算法会出现采样数量和光照分布不对称的问题,此外在采样过程中忽略了像素内的噪声水平对渲染结果的影响。这些特点都会导致最终渲染图像局部细节位置采样逼真度不够。因此,递进地提出了三种改进方案。第一种是在相对宏观的角度
现如今,随着“绿色出行,低碳环保”理念深入人心、公共交通行业的蓬勃发展以及全国一卡通的迅速推广,交通一卡通的发行量越来越大,现阶段城市交通一卡通已经产生了海量的数据
光电探测器在军事和民用等各个领域都有广泛的应用,例如导弹制导、红外遥感、工业控制、光通信等。光电探测器按照工作波长范围可以分为:紫外光电探测器、可见光电探测器和红
随着城市汽车保有量的迅速增加,道路交通安全成为不可忽视的重要问题,车辆高级辅助驾驶系统(Advanced Driver Assistance Systems,ADAS)因此应运而生。ADAS是指利用汽车传感器以及计算机视觉等先进技术降低事故发生率的设备。行人检测系统作为ADAS的重要组成环节,能够及时向驾驶员反映路况信息以达到提醒驾驶员安全驾驶的目的。由于道路交通参与者众多,因此情况通常比较复杂,