面向Spark的批处理应用执行时间预测模型

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:zhuoluo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark批处理应用执行时间预测是指导Spark系统资源分配、应用均衡的关键技术。然而,既有研究对于具有不同运行特征的应用采用统一的预测模型,且预测模型考虑因素较少,降低了预测的准确度。针对上述问题,提出了一种考虑了应用特征差异的Spark批处理应用执行时间预测模型,该模型基于强相关指标对Spark批处理应用执行时间进行分类,对于每一类应用,采用PCA和GBDT算法进行应用执行时间预测。当即席应用到达后,通过判断其所属应用类别并采用相应的预测模型进行执行时间预测。实验结果表明,与采用统一预测模型相比,提出
其他文献
针对股票价格预测问题,实现对非平稳、非线性股票价格序列的预测,提出一种结合深度学习和分解算法的股票价格预测模型。该模型引入自适应噪声的完整集成经验模态分解(CEEMDAN
密度峰值聚类(DPC)是一种基于局部密度的聚类方法,在DPC中影响算法的效果的两个基本因素是局部密度定义和类中心选择。针对经典DPC在定义局部密度时没有考虑到邻域内样本点的
目的探究膝关节置换术后的护理方法。方法选取本院2016年6月—2019年6月收治的64例行膝关节置换手术的患者为研究对象。按照随机数字表法将患者分为对照组与观察组,每组各32
“圆环的面积”是人教版六年级上册第五单元第三节《圆的面积》例2 的内容。本节课在解决圆的面积、圆环面积的计算方法的同时,优化运算过程,运用整体思维提升学生运算能力。
商务智能中,基于Agent的自动谈判利用Agent的各项人工智能优势,日益受到重视。针对当前对其中的多属性评价量化研究不够的现状,结合犹豫模糊理论,构建基于多属性的方案;将属
目的研究经电子胃镜上消化道异物取出术的护理配合及临床效果。方法选取本院2016年6月—2019年1月收治的76例行经胃镜上消化道异物取出术治疗的患者为研究对象。按照随机数字
数学教学中,依托教材设计能激活学生思维,培养学生质疑、敢说、善思的品质,强化学生的语言表达能力和逻辑推理能力。在教学《百分数的意义》时,笔者注重结合生活情境引入探究
"快乐读书吧"板块的设置是统编语文教材编写的特色和亮点之一。现实教学中,很多教师还不能准确把握其要义,教学存在两种现象:一是"虚"指导。教师不知道如何进行"快乐读书吧"
能够对异常信息进行检测是智能控制系统的基础能力,新奇检测是一类特殊的异常检测方法,其充分利用了正常数据来构建模型,在诸多智能系统中发挥着重要作用。该领域的综述,能够
目的探讨文丘里温湿化氧疗对脑外科气管切开术后脱机患者的效果。方法选取2018年10月—2019年10月本科ICU收治并进行气管切开术后脱机的64例患者为研究对象。采用随机数字表