不均衡环境下面向Hadoop的负载均衡算法研究

被引量 : 14次 | 上传用户:winbourbit
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop是大数据最重要的处理框架之一,其核心包括MapReduce和HDFS两部分。MapReduce是负责数据处理的框架,通过对输入数据进行拆分、组合可对其进行高效的分析处理。HDFS负责数据的存储管理,它能够在低成本的计算机上运行,并通过检测和应对硬件故障来实现系统的容错性能。在同构的Hadoop集群中,所有节点的性能基本一致,Hadoop在执行任务时能够获得较好的性能。但在不均衡环境中,由于集群中的节点在数据的处理能力、磁盘的使用情况、不同文件的访问频率等方面的差异性,会导致Hadoop集群出现负载均衡的问题。这个问题主要涉及两方面,一个是MapReduce的负载均衡问题,另一个是HDFS的数据放置负载均衡问题。针对这两个问题,本文分别进行了深入研究,并提出了解决相应问题的关键技术。针对MapReduce的负载均衡问题,本文提出了基于节点性能的MapReduce负载均衡算法(LBNP, ALoadBalanceAlgorithmBasedonNodesPerformanceinHadoopCluster).该算法以节点性能评价模型为核心,对Hadoop集群中各节点的计算能力进行评估,并依据性能估值在Reduce阶段对输入数据进行合理分配。针对HDFS数据放置的负载均衡问题,本文提出了一种新型节点负载评估模型,并以此模型为基础提出了一种新的备份数据块放置策略。其中,节点负载评估模型以不均衡环境下集群中的节点性能、磁盘使用率、文件访问频率等因素为衡量因子。新的备份数据块放置策略优先选取集群中负载较小的节点为数据块备份节点,从而达到提升集群的负载均衡程度、提高集群的工作效率的目的。最后,本文通过对新的算法与策略的全面实验仿真,并与原始的Hadoop框架进行比较,证明了该算法对集群负载均衡的有效性和在执行MapReduce任务时的高效性。
其他文献
机器人辅助康复和传统手工康复相比具有控制精度高、重复性好、模式多样等突出优点,对于提高康复效率、降低人工劳动强度具有重要意义,近年来已得到越来越多的关注。多自由度
<正>2007年11月12日至16日,由长沙师范学校和日本网络儿童研究所共同举办的中日学前教育学术交流会在长沙师范学校召开,来自全国各地的300多名代表参加了此次会议。会议期间,
面对激烈的市场竞争,对高端客户的争夺成为银行精准营销的关键。对高端客户实行VIP贵宾服务的大方向是毋庸制疑的。本文对此提出了这一问题的紧迫性,和对VIP客户服务一些建议
慢性阻塞性肺疾病 (COPD或GOLD)是困扰人类的不易根治的慢性呼吸系统疾病 ,自 2 0世纪50年代即备受医学界有关专家的观注 ,并从流行病学调查到临床的诊断治疗做了大量的研究
黑 龙江省鹤岗市区的森林生态环境在不断发生变化.利用两期重点生态公益林监测数 据,科学对比分析鹤岗市区的生态环境变化情况,掌握其变化规律,找出问题及原因,制定对 策,使
文章就问题探究式导课、图片式导课、复习式导课三种导课方式进行拓展理解,并以同课异构的形式阐释其应用,以期对其他教师有所启发,重新解读导课的意义,形成个人特色的导课模
环境与能源问题已成为了人类面临的两大挑战,探索和研究可再生能源和清洁能以取代传统的化石能源已成为可持续发展的重要战略之一。锂离子电池凭借其容量高、寿命长、设计灵
本文从Web of Science和PsychINFO两个外文数据库中检察自闭症谱系障碍儿童指称行为的研究文献,并从自然会话、故事叙说和高度结构化任务三种交际情境进行综述。分析结果表明
汽车的内装饰可能释放大量有害气体,这些气体浓度随温度升高10度而增加约一倍。由于人的呼吸,数分钟后,在封闭的车内二氧化碳就会超标,使用车内循环的空调设施,无法改善车内空气质
当今社会,科学技术日新月异,复合型人才竞争日趋激烈,在这样的背景下,科学技术的创新发展也受到了前所未有的重视,特别是作为基础教育的科学教育课程,更是受到了重视。文章对