Hadoop YARN大数据计算框架及其资源调度机制研究

来源 :信息通信技术 | 被引量 : 0次 | 上传用户:flysky30003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如MapReduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析HadoopYARN计算框架的基本结构和工作流程的基础上,重点研究HadoopYARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(CapacityScheduler)和公平调度器(FairScheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调
其他文献
色散已成为光纤长距离、高速率通信中的巨大障碍。鉴于色散补偿光纤插入损耗大、易引入非线性效应等缺点,文章采用啁啾光纤光栅对系统进行色散补偿,克服了以上不足。通过分析啁
湖南教育出版社最近出版张国刚同志的《唐代藩镇研究》一书。杨志玫教授评论说:“该书提出许多独立新颖的见解,读后令人耳目一新。”现摘录书中“引言”的部分内容供读者参考
期刊
构建开放而富有活力的语文课堂不仅是课程改革发展的需要,更是学生发展的需要.作为语文教师,应从大语文观出发,通过延伸课堂的外延、转变师生的角色、开发课程资源等途径,使
现从校园护理职业文化建设的重要性、内涵、建设思路以及本学院在护理职业文化建设实践中存在的问题与对策这4个方面,阐述进行校园护理职业文化建设的实践与探索,提出只有与
由于柴油机具备较高的输出功率与热效率,以及优秀的燃油经济性和耐久性,已被普遍应用于商务车、汽车、卡车及诸多类型的重型机动车中。相较于汽油机,柴油机但排放量更低,更适
目的:探讨后腹腔镜肾上腺肿瘤切除手术的护理配合方法和效果。方法:对2015年6月至2017年1月我院收治的31例肾上腺肿瘤患者的临床资料进行回顾性分析,全部经后腹膜路径,在腹腔镜监
随着我国现代化企业的不断发展和进步,其在财务管理方面的发展也需要进一步的提高,但是我国现代化企业财务管理的相关理念仍然比较落后,这一点具体的表现在我国企业中相关的
零售商品牌资产管理是实现零售公司品牌持续增值的重要手段,对零售企业长期竞争优势的建立有重要意义。目前,关于零售商品牌资产管理的系统研究和实践还较为欠缺,极大地制约
护理院校加强校园文化建设是对护生进行素质教育、建设优良学风的一种有效载体。护理院校校园文化包括物质文化、制度文化、精神文化3个部分,具有向导功能、凝聚功能、制约功
<正>全膝关节置换术(total knee arthroplasty,TKA)是治疗终末期退行性关节疾病的一个非常成功的手术。随着人口规模增大和寿命延长,未来TKA手术将会显著增加。因此,完善手术