面向混部集群的性能干扰预测与调度优化研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wanghuia23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
混部(colocation)是使用离线作业填充以在线作业为主的集群空闲资源的技术,可以解决现代数据中心的资源利用率普遍较低的问题。然而,混部技术的应用也带来了许多问题,例如不同类型作业间共享资源导致的性能干扰问题,本文称之为混部干扰。混部干扰将造成不可忽视的影响,为此,本文提出了一种预测混部集群中的混部干扰的方法,并通过调度算法来降低混部干扰带来的影响。本文的主要工作如下:(1)本文首先对阿里巴巴混部集群的数据集进行了数据分析,发现重调度现象会造成混部集群的性能波动与资源浪费,并且直接影响作业的运行、响应时间,与混部干扰有很强的相关性。本文将重调度的发生与否作为混部干扰的指标,然后基于重调度发生时的数据,制作了描述混部干扰发生时的资源特征的数据集,本文把这些数据集称为干扰画像。最后,本文提出了一个基于干扰画像和Light GBM的混部干扰预测方法(IPLPF),IPLPF首先通过SMOTE-Tomek混合采样和重要特征选择改进训练数据集,然后基于贝叶斯优化选择Light GBM的训练参数,最后通过Light GBM训练出的模型进行预测。实验表明,IPLPF训练出的预测模型比直接使用Light GBM训练出的预测模型准确率更高,并且与其他机器学习算法训练出的预测模型相比,IPLPF训练出的混部干扰预测模型在预测重调度的准确率上最高可以达到86.3%。且混部干扰预测模型的ROC曲线明显优于其他预测模型,这说明混部干扰预测模型具有更好的预测效果。(2)为了减少混部干扰对混部集群的影响,本文面向混部集群中的离线作业进行了调度优化,提出了基于混部干扰预测模型的调度算法Co IP,Co IP由离线作业调度算法和离线作业重调度算法组成。Co IP的核心思想是基于混部干扰预测模型对可能到来的混部干扰进行预测,并根据预测的结果进行调度判断,尽可能最小化目标服务器上因混部干扰导致的重调度次数,从而提高离线作业的吞吐率与集群的资源效率。为了对Co IP调度算法进行功能与数据上的契合,本文还提出了一个基于Co IP的调度系统。最后,本文基于Colocation Sim(一个基于Cloud Sim的混部集群调度仿真器)仿真了阿里巴巴混部集群的实验环境,所有涉及混部环境下的调度实验都在该仿真环境上进行。实验结果表明:与其他调度算法相比,Co IP调度算法在CPU资源效率和内存资源效率上最多分别提高39.53%和39.24%,且Co IP调度算法在不同干扰强度和离线作业负载环境下均具有较高的吞吐率和抗干扰能力,将重调度次数最多降低了86%。
其他文献
目的:运动性疲劳骨骼肌损伤会引起肌肉功能的失调与肌肉表现的下降,会伴随着机体运动范围的减小,肌肉出现肿胀、炎症反应,肌肉酸痛感增加等生理生化反应,同时增加了肌肉生长抑制素(myostatin,MSTN)的表达。而MSTN一直都是受关注的肌肉生长调节因子之一,其功能及表达量的变化可调节靶基因的表达,以改变肌肉的纤维组成及肌肉质量。低强度脉冲超声(low-intensity pulsed ultras
学位
崔湜作为初唐宫廷文人,不仅在朝政中有举足轻重的地位,在当时文坛也具有一定的影响力。他弱冠登进士,又素有文名,张说赞其“文与位故可致,其年不可及”。崔湜活跃于武后、中宗朝,此时诗歌正处于由初唐向盛唐转变的最后时期,也是初唐文坛最后的活跃时期。崔湜是本时期文学活动的重要参与者,在创作中也明显表现出该过渡时期的特征,具有较高的文学研究价值。目前学界关于崔湜的研究分布零散,多是在做群体研究时有所提及,对崔
学位
家庭是个体成长的重要微环境系统,也是道德形成的重要场所。家庭中,父母的教育内容、教育方式、亲子关系等都会成为影响孩子道德发展的重要因素。中学阶段青少年正经历生理和心理的剧烈变化,也处于道德发展的关键时期,无论是青少年表现出的极端问题行为,还是良好的助人行为,都与家庭道德教育状况存在密切联系。因此,了解家庭德育的现状及其与中学生亲社会行为间的关系,对于促进中学阶段青少年的健康发展,避免其不良行为,具
学位
“提问是教学的生命。”教师课堂提问是一个启发学生不断思考的方式和过程。恰当的提问,对于激发学生学习兴趣、唤起和发展学生思维、培育学生健康的社会性人格和提高课堂教学有效性有重要的理论意义和实践价值。对于特殊教育的教学而言,尤为如此。然而在实际教学中,培智学校的课堂常常出现教师“自导自演、激情满满”,学生“自由散漫、不理不睬”的尴尬局面,课堂提问也常常被贴上“低效”、“单向”、“杂乱”等各种反面标签。
学位
亲子关系与同伴友谊是儿童生活中最重要的人际关系,关注两者之间的影响机制可及时修正儿童的不良心理状态。本研究目的在于探究小学生亲子关系对其友谊质量的影响过程及其中介效应,并探究各个变量的城乡差异。其次,近年来校园中同伴欺负情况多发,且儿童焦虑、抑郁水平逐年增长,本研究意在探究亲子关系是否是导致儿童产生这些不良情况的源头,并且这些是否能够间接或直接影响儿童友谊质量。本研究首先将小学生亲子关系与友谊质量
学位
近年来,党和国家高度重视学校体育,以“健康中国”国家战略为契机,不断加快学校体育工作发展的步伐。高校体育场馆作为学校开展体育工作的重要载体之一,需求量日益剧增,场馆的建设与管理受到了全社会关注与重视。经过调研发现,现阶段高校体育场馆仍然存在机构设置不合理、规章制度不健全、运营方式不多元、管理团队不专业、财务管理不规范、场馆信息化建设不足等问题。因此,设计一套科学、规范的高校体育场馆管理体系,就显得
学位
背景:心肌梗死(myocardial infarction,MI)导致心功能恶化,并累及远隔器官损伤,如骨骼肌、肝和肾等重要器官发生病理性重塑。临床研究表明,MI多发于老年人群,并趋于年轻化。以骨骼肌减少为主要特征的心脏恶病质综合征是心梗患者死亡的重要原因之一,严重影响患者的生存质量。因此,抑制骨骼肌减少,提高骨骼肌质量和功能,对改善心梗患者生存率及其生存质量具有重要意义。文献表明,外源性注射胰岛
学位
研究目的:网球是高校体育课程体系中重要的教学内容之一,网球选修课也是高校学生热捧的课程之一,并且长期参加网球运动对学生身心健康,身体健康的提升非常大,但是网球对个人技术、技能要求高,是一项入门非常难的运动。高校网球教学资源有限,那如何能有效利用现有的网球资源,提高网球选修课的教学质量和效果成为教师亟待解决的问题。本研究依据ITF推出的十步教学法理论,并遵循十步教学法教学原则,设计教学实验,以陕西师
学位
祖国的未来需要青年,青年承担社会责任对于国家的发展至关重要。习近平总书记十分重视青年社会责任问题,他立足于中国当代实际,将青年放在十分重要位置上,形成了关于青年社会责任的重要论述的逻辑体系。习近平关于青年社会责任重要论述将青年社会责任问题提升到一个新的高度,这一论述具有严谨的逻辑结构,为青年承担社会责任提供理论向导与实践指南。本论文从逻辑体系方面入手,系统地梳理了习近平关于青年社会责任重要论述相关
学位
随着我国人口老龄化进程的不断加速,老龄群体的规模正在不断扩大。而随着年龄的增长,老年人的身体机能会不断退化,这将使得他们成为医疗服务利用的重要主体。基于城乡差异的视角来研究老年人的健康及其医疗服务利用情况,对改善老年人健康福利,提高老年人健康水平和促进城乡老年人的健康公平将具有非常重要的现实意义。基于此,本研究利用2018年的“中国健康与养老追踪调查”(CHARLS)项目数据库,通过城乡对比,描述
学位