【摘 要】
：
在Hadoop集群的优化配置中,配置参数存在种类繁多、含义复杂、相互关联影响的特性,导致难以实现快速准确寻优。针对以上问题,构建了Hadoop集群自动调优系统,其中在系统中设计
【机 构】
：
中国科学院沈阳计算技术研究所,中国科学院大学
论文部分内容阅读
在Hadoop集群的优化配置中,配置参数存在种类繁多、含义复杂、相互关联影响的特性,导致难以实现快速准确寻优。针对以上问题,构建了Hadoop集群自动调优系统,其中在系统中设计了资源获取器与参数配置库,分别用于获取各作业的资源消耗与存储分发配置方案。该系统利用MapReduce作业的小规模数据集资源签名将任务分类,在遗传算法框架中通过任务的测试评估对配置方案进行自动迭代优化。实验结果表明,调优后集群的任务完成时间明显缩减,集群的资源利用率有了明显提升。
其他文献
从杨梅（Ｍｙｒｉｃａｒｕｂｒａ）果核中首次分离得到了三个黄酮类化合物，经ＵＶ、ＩＲ、１￣ＨＮＭＲ、（１３）￣ＣＮＭＲ、ＥＩ－ＭＳ和ＦＡＢ－ＭＳ等波谱分析，鉴定为槲皮素（１）、杨梅素（２）和槲皮素－３－Ｏ－ａ－Ｄ－吡喃葡萄糖－（６→１）－Ｏ－ａ－Ｌ－吡喃鼠李糖苷（３）。用Ｒａｎｃｉｍａｔ法测定了它们的抗氧化性能，表明三个化合物对
双辊薄带铸轧技术被誉为21世纪冶金工业最具革命性的技术,其工艺直接使钢水在结晶辊的作用下实现铸和轧,将金属的亚快速凝固技术与热加工成型技术合二为一,真正实现"一火成材
信息化的发展为医疗资源共享、整合提供了技术支持,医院通过上级医院托管再到培育下级医疗机构,初步形成了跨区域医疗联合体,在探索分级诊疗、双向转诊、改变基层医疗资源利
国有林场在我国的生态体系建设中具有重要的作用,因此,做好国有林场的森林资源管护工作极其重要。在我国生态文明建设的背景下,通过科学的管理方式,加强对国有林场森林资源的
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
为了准确地识别高离网倾向的用户群,基于运营商的实际业务数据,通过运用数据挖掘中的CRISP-DM模型方法对移动用户的离网行为进行分析,并详细介绍了离网预测模型的建立过程。
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
党的十八大对精神文明建设提出了更高的要求,对于文化企业的代表,新华书店在企业文化建设中构建精神文明氛围是积极响应党和国家号召的有效举措。本文从企业文化建设视角入手