【摘 要】
：
分布式集群普遍存在负载均衡问题，而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制，但是效果不太理想，因此运行过程中经常会出现负载不均衡的情况。针对如上问题，深入分
【基金项目】
：
国家自然科学基金委员会与中国民用航空局联合基金项目(No.U1233113);国家自然科学基金(No.61301245,No.61201414)
论文部分内容阅读
分布式集群普遍存在负载均衡问题，而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制，但是效果不太理想，因此运行过程中经常会出现负载不均衡的情况。针对如上问题，深入分析了Hadoop源代码，理清了Hadoop的运行原理，在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序，建立了新的任务排序规则，提出了对各节点性能评价的指标，分为动态性能指标和静态性能指标。在此基础上对Yarn的FairScheduler算法进行了改进，形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译，在
其他文献
老师们可能很多时候是通过百度等搜索和查找学习资料,但找到的资源质量良莠不齐,虽然搜索方便,但在选择资源方面却要花费大量的时间和精力。要想找到质量好的资料,笔者推荐大
近年来,食品安全问题层出不穷,不仅威胁着人们的身体健康,对社会的和谐稳定发展也产生了十分不利的消极影响。因此,食品检测机构应该发挥自身的质量检测优势,加强质量监控,从
根据药品仪器检验所药检业务工作的质量管理要求,从软件工程角度介绍药检业务质量管理系统的实现方法。应用结果表明,本方法能很好地适用于药检常规工作,有效控制全部质检过
砂糖的原料甘蔗原产于印度。释迦一族有五个姓氏,其中之一称甘蔗王,因这一家族发明甘蔗汁的浓缩法而得名,由此中国古代亦称释尊为甘蔗氏。甘蔗随同佛教传入中国,但中国最初
本文通过Python数据分析技术,以中国大学MOOC平台中的在线学习过程数据为研究对象。在基于Pandas库对学习数据统计数据进行数据预处理的基础上,通过线性回归模型研究在线学习
针对当前乡村景观出现的乡村风貌趋同、特色丧失的问题,文章深入分析乡村特色缺失缘由,以问题为导向,提出了乡村特色的塑造思路和基于四大环境的“四性”乡村特色塑造策略,以
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
根据新冠疫情防控需要,北京大学推迟了2020年春季学期开学时间,积极落实“延期不停教,延期不停学,延期不停研”的目标,更好地支持了任课教师利用“北大教学网”和“在线课堂
在当前我国经济和社会的快速发展中,开展科学有效的生态环境建设对于我国长期稳定发展有着至关重要的作用和影响。虽然我国当前发展规模空前强大,但是环境污染现象仍然大规模
在70年代中期微机进入我国医院管理，80年代应用于药学领域，到了90年代微机开始从单机向网络发展。我院从医院的实际工作出发，借鉴国内医院电脑化的管理经验，经多方协作，于1996年8