基于磁盘I/O性能的Hadoop任务选择策略

来源 :计算机工程 | 被引量 : 0次 | 上传用户:freezinghk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
本文在对结晶器振动分析的基础上,对于如何根据工艺参数负滑动时间t_N和负滑动率Ns来确定振幅和频率进行了探讨。更多还原
心内膜弹力纤维增生症主要发生于婴儿,是婴儿死于充血性心力衰竭的最常见的原因之一。我院经尸检确诊本症两例,兹报告如下。病例介绍例1 李××,女,77天,住院号65506
期刊
传统无线网络编码协议在单播传输模式中较少考虑速率自适应对网络性能的改善作用,而利用RTS/CTS握手信号进行信道估计的速率自适应机制则存在开销大、网络吞吐性能差等缺陷。
本文着重介绍了应用电磁比例减压溢流阀控制平整机恒压力液压压下系统的设计开发,并在冶金厂投产使用,为今后类似平整机恒压力液压压下系统的设计提供了经验.
为提高长春市病理活检工作的质量1982年12月省医学会组织一个由病理专业专家和技术人员组成的评比小组,对在长十四所医院的活检制片进行了抽样评比。现将这次评比情况总结、
期刊
根据协调控制原则,采用内模控制原理,并结合工程设计方法,针对直流电动机同步驱动问题,通过理论分析和仿真研究,找出了一种较好的同步方案.这种方案既解决了转速超调问题,又
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在以最小二乘法评定圆度误差的基础上,推导了用双传感器(大位移和小位移传感器)组合实现测量大工件直径的数学模型,进行了模拟实验研究,采用MCS-51单片机进行了数据处理。
2014年我国证券市场上出现了第二次股票更名热潮,针对这次热潮,本文研究了上市公司更名的概况、主要特点及短期市场反应。在这种案例背景之下,本文以具体的案例,分析了上市公