大规模云平台任务终止状态预测方法研究

来源 :河南师范大学 | 被引量 : 0次 | 上传用户:zhchbetty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模云平台运行着成千上万项作业,云平台管理系统的调度器调度各种资源,保障任务(作业的一次运行)的正常运行,并提高云资源的利用率。目前,智能云资源管理成为提高资源利用率的重要手段。其中,基于机器学习的任务终止状态预测结果,作为调度器采取相应措施的决策依据,已成为云资源管理改进的研究热门。然而,大规模云平台上,具有任务数量巨大、运行所需资源多样、终止状态影响因素复杂等特点,如何在大规模云平台上准确预测任务的终止状态,是亟待解决的问题。本文以Google云平台的计算调度系统Borg为研究对象,利用Google公布的Borg代表性工作负载监控日志进行研究验证,分别对任务失败状态和更细粒度的任务终止状态进行预测。主要研究内容如下:(1)任务终止状态影响因素的统计分析。在深入研究Borg集群管理系统的调度管理机制基础上,使用大数据统计的方法对任务终止状态影响因素进行分析,确定影响任务终止状态的属性,并据此进行特征选择。为了更早地对任务的终止状态进行预测并采取调度措施,确定任务运行到1/3时刻的静态、动态属性信息,以便在任务运行早期进行终止状态的预测。(2)针对任务早期运行阶段动态信息不足,使得预测模型的泛化性能和预测精度低的问题,提出了一种基于相似作业之间相关信息挖掘的失败任务早期联合预测方法(Early Prediction Task Failure,EPTF),在任务运行1/3阶段时,预测出失败的任务。相似作业包含的任务具有相似的负载变化模式,负载序列间存在结构相关性,这个相关性信息能有效提高预测模型的泛化性能。首先,提出了一种作业聚类算法,从包含不同任务数量的作业中,聚类出相似度更高的作业。其次,对于得到的作业聚类,构建鲁棒多任务学习模型,挖掘作业之间的域信息,进行失败任务的联合预测。实验结果表明,预测时机方面,EPTF是在任务运行到1/3时期进行预测,比常用的方法选定的1/2时期要更早,且因此节省了大约42.76%的CPU资源。预测性能方面,EPTF在更早运行时刻内进行预测时,可以得到更高的预测精度、更好的鲁棒性和更低的假负率。(3)为更细粒度进行调度决策,需要对任务的终止状态进行多分类预测。针对多分类过程中的不均衡问题和类重叠度问题,提出了一种基于类重叠度区分的自定义步长-梯度提升决策树(Self Paced-Gradient Boosting Decision Tree,SP-GBDT)模型,分别从数据和算法层面解决不均衡问题,提高预测少数类任务状态的准确率。首先,将终止状态的多个类别拆分成若干个二类组合,根据支持向量数据描述模型筛选出类重叠度较低的最优二类组合。然后,分别对最优的二类组合进行扩展采样比例的自定义步长欠采样。最后输入构建梯度提升决策树模型,将欠采样之后的数据进行多分类。实验结果表明,在任务运行到1/3时刻进行的多分类预测,具有良好的预测性能,和常用的决策树和随机森林的多分类预测方法相比,SP-GBDT算法的F1-score分别提高了30.39%、18.26%。
其他文献
在国家持续深化基础教育改革的大背景下,注重学用相长、知行合一的研学旅行课程呈现出蓬勃发展的态势,受到越来越广泛的关注。在小学阶段开设该门课程,既是小学课程改革良好的创新实践方式,也有助于青少年塑造正确的人生观、世界观、价值观,在汲取知识、认识世界的过程中培养核心素养、实现人的全面发展。作为一门政策先行的课程,因为没有坚实的理论基础作为支撑,所以当前在实施的过程中出现了流于形式、重游轻学、过分追求市
空间预测是一种获得有机质空间局部细节的重要方法,其准确性对于农田合理管理有着重要意义。本研究通过对比不同的土壤有机质空间制图方法以获得更优的预测精度,在预测的同时揭示环境协变量的空间非平稳性特征及不同环境协变量关系的空间尺度。选取山西省高平市作为研究区,对比普通克里金(OK)、多元线性回归(MLR)、回归克里金(RK)、地理加权回归(GWR)、地理加权回归克里金(GWRK)、多重尺度地理加权回归(
众所周知,主语是句子重要组成部分之一。日本学者奥田靖雄、三上章等学者都对日语的主语省略进行过研究。以三上为首的语言学家曾提出“主语废止论”;中国学者姚灯镇也从日语语言语句结构特征出发,将主语省略的原因归结为文末表达方式、敬语、感情形容词、表现思考和判断的动词、授受关系等五种情况,并进行了分析。可见,主语省略是句式表达中非常常见的现象,在日汉翻译过程中是无法回避的问题。本次翻译实践报告以谷崎由依的小
目的:本研究旨在对比髌骨贴扎结合肌力训练和单纯肌力训练在改善女性髌股疼痛综合征患者膝关节疼痛、提高下肢功能以及肌肉力量方面的干预效果,观察髌骨贴扎结合肌力训练的方法是否有更好的疗效,从而为女性髌股疼痛患者的康复治疗提供相关理论依据和临床指导。方法:根据筛选标准,纳入四十二名女性髌股疼痛综合征患者,随机分为单纯肌力训练组(CG)、安慰剂贴扎结合肌力训练组(PG)以及髌骨贴扎结合肌力训练组(EG)。全
随着国家对种业发展的逐渐重视,育种工作的重要性也日益显现出来。相继促进了育种机械化的发展,育种机械可以提高效率,节省人力、物力,解决了之前只可以依靠人工来收获的问题。目前更多的学者都投身于对育种机械的智能化研究中,因为它不仅可以解放育种人员的双手,还大大提高了工作效率,在育种机械上安装多功能的智能化系统可以简单快捷的掌握各种育种试验数据。我们基于山西农业大学研制的5TNW型荞麦小区脱粒机设计了一套
高水平的农业机械化对我国现代化农业的高质量快速发展起着关键作用,然而我国以传统能源为动力的农业机械能源利用效率低,并且废气排放、废油滴漏、噪音污染等缺点十分突出,对农田资源环境、农民身体健康危害很大。本文依托一台自走式双垄鸭嘴吊杯型蔬菜移栽机,对其原有的驱动系统进行了电动化设计改造,优化成一台自走式纯电动移栽机,既可用于大田移栽作业,也可用于大型温室大棚。本文主要研究结果如下:(1)基于对不同驱动
学位
学位
本课题来自于笔者在杭州网易有限公司实习的项目“中国大学慕课应用的界面设计”。当前中国大学慕课依旧存在用户体验和可用性问题,并且研发过程中存在着重资源而轻平台设计的现象。优秀的学习资源固然可以提高学习者的学习效率,但是基于慕课的开放学习平台并不只是资源的展示平台,其界面、功能等都直接影响着学习者的学习体验。远程学习者的持续学习需要学习者拥有较强自制力,若学习平台不能为学习者提供优质的学习体验和个性化
“こと”一词在各类日本文学作品当中出现频率很高。“こと”的意义和用法有很多,它既可以作实意名词使用,也可以作形式名词使用,并且关于它的惯用句型更是不胜枚举。正是由于该词用法及意义的多样性,导致其在汉译过程中,对应的词汇与形式也变得复杂。并且该词作为形式名词使用的情况更多,但在现代汉语中,并没有这种词类,也没有与它相对应的形式,因此在翻译过程中会倍感艰难。所以在日译汉的翻译实践中,对“こと”的翻译处