混部云集群负载特征分析及容器性能预测

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:habi_jia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云平台已经发展成为提供计算服务的基础平台。云集群上在线任务运行所需的资源变化较大,为了保证在线任务的服务质量要求,云集群会给在线任务分配其峰值时所需的资源大小,导致云集群的总体资源利用率处于较低的水平。为了提高云集群的资源利用率,越来越多云服务提供商将离线任务与在线任务混合部署形成混部云集群。云集群中离线任务必然与在线任务争抢集群的资源,导致在线任务的服务质量下降。为解决上述问题,本文首先以混部云集群负载特征为例,分析混部云集群中混合任务的负载变化,接着提出预测云集群上在线任务性能的方法,最后提出混部云集群场景下的在线任务性能分类模型。本文的主要工作分为以下三部分:(1)针对大规模云集群上任务类型多、数量多和任务混合部署等特征,本文以阿里巴巴混部云集群日志数据集为研究对象,分析混部云集群中任务的负载变化。研究表明在线任务的CPU资源利用率符合周期为一天的周期性波动,而内存资源利用率一直稳定在较高水平,说明内存资源是云集群的资源瓶颈。离线任务的CPU和内存资源利用率都符合周期为一天的周期性波动,但是其峰值和谷值所在的时间与在线任务不同,离线任务的CPU利用率峰谷值时间分别是6时和23时,在线任务的CPU利用率峰谷值时间分别是11时和5时。(2)针对云集群上容器性能受诸多因素干扰的问题,本文提出使用LGB(Light Gradient Boosting,LGB)模型对容器性能进行预测。首先把影响容器性能的原因分为静态因素和动态因素、单容器因素和多容器因素,然后使用LGB模型预测容器性能,最后用仅包含在线任务的物理机日志数据集验证预测模型,实验结果表明动态因素和单容器因素对容器性能的影响较大,说明在云集群中容器的动态资源使用和容器上任务运行特征对容器性能的影响较大。使用LGB模型预测容器性能的预测均方误差为0.009,优于对比模型LR(Linear Regression,LR)、Lasso(Least absolute shrinkage and selection operator,Lasso)和CART(Classification And Regression Tree,CART)决策树,实验结果表明本文所提算法具有更高的准确率和更好的稳定性。(3)针对混部云集群中离线任务对容器性能的干扰,本文提出把离线任务对容器性能的干扰转化为分类问题,通过预测分类问题的类别判断离线任务干扰下的容器性能。首先提取影响混部云集群中容器性能的因素,然后提出PCA-GNB(Principal Component Analysis and Gaussian Naive Bayes,PCA-GNB)模型预测混部云集群上的容器性能。最后在混部云集群日志数据集上验证本文提出的模型,实验结果表明PCA-GNB模型的预测准确率为97.95%,相较于逻辑回归模型和支持向量机模型能达到更高的准确率和更好的模型稳定性。上述研究成果为研究混部云集群中离线任务对在线任务的干扰提供参考,有助于提高混部云集群的资源管理效率。
其他文献
十九大的召开,中国逐渐步入大健康时代。健康作为人类运作的基础,越来越受关注;由于投资健康而产生的效益也将越来越重要。大量研究表明,健康人力资本的有效投资,能够大力促
随着计算机技术的快速发展,业务流程管理系统也被广泛的应用。业务流程是为了执行任务而进行的一系列结构化活动,集成了广泛的数据源、应用程序、IT系统,并管理企业信息。业务流程管理系统执行产生大量的数据,日志可能包含许多事件,每个事件包含不同的属性,因此检查与分析不同业务流程的各种执行是一项冗长乏味的任务。流程挖掘是专门用于业务流程执行的后验分析的研究领域,流程挖掘允许分析人员利用业务流程的历史执行日志
碳酸二甲酯(Dimethyl carbonate,DMC)是一种备受青睐的绿色化工产品,其合成方法主要有光气法、酯交换法、CO_2直接合成法、尿素醇解法以及甲醇氧化羰基化法等。其中甲醇氧化羰基化法具有原料廉价、工艺简单、副产物少等优点,是当前最有研究价值的工业化方法。研究发现,铜配合物催化剂在甲醇氧化羰基化反应中具有腐蚀性低和催化活性高等优点,但也存在反应后与溶液难以分离等缺点,因此对铜配合物催化
中国古代的政治家、思想家向来以修身、齐家、治国、平天下为己任,提出了许多治国安民的良策嘉谋,总结了大量为官从政的经验教训。在中国古代保存下来了大量的被称之为"官箴"
会议
近些年来未成年人在线个人信息屡遭侵犯,合法权益受到挑战,我国目前出现了很多侵害未成年人在线个人信息的行为和案件,民法通过隐私权和人格权等对未成年人个人信息间接的进行保护,但已经不满足现状的需求。在内忧外患的双重重压之下,有关我国未成年人在线个人信息保护体制的构建需早日提上日程,其中不仅仅是对法律上的完善,还有对司法实践中存在的一些问题进行解决。第一,从个人信息的概念入手,把握住个人信息具有可识别性
目的:应用超声多普勒技术评价维持性血液透析(maintenance hemodialysis,MHD)患者右心功能,并探讨MHD患者肺动脉高压(pulmonary artery hypertension,PAH)发生率及相关影响因素。方法:选取长江大学附属第一医院肾内科透析室2018年9月至2019年11月经动静脉内瘘(arteriovenous fistula,AVF)行MHD治疗的慢性肾功能衰
理查德·鲍尔斯(1957—),美国当代著名小说家,是美国“X一代”作家群的典型代表。自1985年出版第一本小说至今,已有12部长篇小说问世,在美国文坛享誉盛名。《回声制造者》是
随着互联网尤其是移动互联网的普及,作为与时俱进的中国共产党,走在时代的前列,注重利用互联网工具提升党建工作。市级厅局党务工作可以借助互联网软件系统,提高党务工作质量、提升党员自身能力。在软件项目开发中,市级厅局党建云软件项目属于中等偏小项目,一般由中小软件公司承担项目开发工作。该项目具备个性化特点,项目费用低,在60万人民币左右;项目开发周期短,在110个工作日、5个月左右;项目质量要求高:稳定、
本文首先利用三个版本CICE进行了长期历史模拟,并从绝对误差、累计误差和多年冰季节冰误差等多个角度定量分析了它们的误差的特征。之后利用最新版本的CICE6.0从冰-气界面参数、海冰内部温盐参数和冰-海界面参数三个方面研究了CICE6.0的误差成因,并利用蒙特卡洛取样对CICE6.0的模拟结果进行了优化。最后,分析了CMIP6中各模式对全球海冰密集度的模拟能力,并定量研究了CMIP6中各模式模拟误差
膜材料作为膜分离技术的核心,其分离性能以及成本消耗直接影响到工业应用,所以制膜材料的选择显得尤为重要。混合基质膜(MMM)作为一类新型的膜材料,以无机材料作为分散相,高分子聚合物作为连续相,两相之间通过多种作用力相结合,不仅具备了无机材料机械性能好的特性,同时还具有高分子材料分离性能好的优点,能够有效的提高膜的气体分离性能,因此在气体分离领域应用十分广泛。本文通过水热合成法制备了SAPO-34分子