基于预测模型的HDFS集群负载均衡优化与研究

来源 :计算机应用与软件 | 被引量 : 5次 | 上传用户:wubin811030
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对HDFS集群默认负载均衡策略中判定阈值的设定具有主观性、滞后性以及衡量指标单一性等问题,通过分析HDFS集群架构搭建、HDFS集群处理对象以及集群本身动态实时变化等特点,结合研究一些负载均衡策略中阈值改进算法,提出一种基于预测模型估算文件属性并结合集群属性综合计算阈值的方法,并将该方法计算出的阈值代入相应的负载均衡策略中进行负载优化。通过实验结果分析表明,提出的基于预估模型估算文件属性具有很高的准确性,并且基于预估模型的负载均衡策略对于集群负载的调整具有高效性,同时能够进一步缩短集群的作业执行响
其他文献
借助可持续发展阈值的概念,我们介绍了研究区域概况,并在分析草地类型和主导功能的基础上,结合草地退化现状、定居进展和各地经济发展水平等因素,提出多层次的游牧人口定居模式。
将V形管和下部带支管的U形管改装成电解水的实验装置和燃料电池具有操作简便、现象明显、节时省药、避免手指接触有腐蚀性的电解液等优点。用2B铅笔芯做电极,插入盛有适宜电解
本文从磨内物料的滞贸量与喂料量或产量之比出发,推导出开流磨粉磨时间的通用计算式,无论物料的物理性质、磨机结构和操作参数如何,只要能够得到不同条件下的C值,便能准确、简单而
为了提取巨磁阻GMR(Giant Magneto Resistance)生物传感器输出的微弱信号,以FPGA为核心硬件平台,基于数字化双通道相关检测技术,设计GMR生物传感器的专用信号检测电路。根据GMR生物传感器输出信号的特点和相关检测的基本原理,给出系统的总体设计方案;完成了系统中各子模块设计,并对各模块进行联调;对设计的检测电路进行了实验测试。测试结果表明:该系统能够检测出微弱信号,信号检测