Spark Streaming动态资源分配策略

来源 :计算机应用 | 被引量 : 0次 | 上传用户:js_123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数据反馈和应用全局变量;然后,进行资源增减计算;最后,进行资源增减执行。实验结果表明,所提策略能够有效调整应用资源配额,且在稳定数据流和不稳定数据流两种情况下,其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低;同时该策略也能够提高集群资源利用率
其他文献
为明确渤南洼陷沙四上亚段膏盐层特征及其对油气成藏的影响,综合利用录井、测井及分析化验等资料对膏盐层发育特征及其石油地质意义进行了分析。结果表明:渤南洼陷沙四上亚段
在我国经济结构转型升级的今天,开展大学生创业教育既是经济发展的需要.又是高等教育改革发展的要求。大学生创业素质的培养是高校创业教育的一个重要内容。分析了精神文化对经
育苗试验表明,在文安县西部地区(土壤类型为沙壤质潮土),欧美杨107的扦插成活率和生长量均大于中林46杨、廊坊杨2号、荷兰3930。在文安县东部地区(土壤类型为粘质湿潮土),廊
广播专业化发展的今天,要提升主持人与节目的粘合度,促使主持人在专业化频率呈现独特风格,必须加速主持人的专业化转型。本文将从多个维度探讨专业化频率背景下的主持人专业
目的完善传统教学中使用探针捣毁蟾蜍脑组织和脊髓实验操作技术中的相关内容。方法在传统教学操作内容基础上,增加探针进入颅腔的进针距离和捣毁脑组织及脊髓的易于体会的具
胃癌是目前国内外高发的恶性肿瘤之一,占消化道肿瘤的首位。对于中晚期胃癌,术后化疗是目前除手术外最常用的治疗措施,但效果有限。近年来,中西医结合治疗在提高中晚期胃癌的
在静态法研究纳米腐殖酸吸附模拟含镉废水基础上搭建考察模拟含镉废水中镉离子在吸附剂上动态吸附及洗脱特性的吸附柱实验装置,考察镉离子溶液浓度、吸附(脱附)温度、共存离子
文章结合中国商业银行的特点,选取了桌市商业银行的460家贷款企业样本,结合贷款五级分类制度,通过构建Logit模型和数学统计方法来进行理论和实证研究,最终测算出企业的违约概率。
欧盟食品安全局食品添加剂和养分资源专家组(The Panelon Food Additives and Nutrient Sources,ANS)对欧盟境内批准用于食品的一组焦糖色素(E150a、E150b、E150c、E150d)进行了安
随着发电新技术、新设备的应用和发电企业岗位设置的变化,传统基于学科体系的人才培养方案已经显现出与岗位需求的脱节,不能适应企业的需求。利用现代职业教育理论中基于工作