面向描述复杂串并行关系的MaP-Reduce模型的改进研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:Aslaen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现有的编程模型不易在保证充分结合结构优势的同时,将作业内逻辑关系和计算机算法合理映射,从而影响了应用程序运行效率的提高。因此,如何在保证高效的前提下减少开销成为研究课题,需要研究更高性能、更廉价、合理映射并与结构充分结合的处理方式。  Map-Reduce编程模型可运行在廉价异构计算机组成的集群上,并能保证高可靠性、扩展性和容错性等特点,可降低计算成本并高效发挥集群性能。该编程模型为数据并行编程模型,作业模式是串行的并行处理模式,该模式导致当作业内部的子任务间具有复杂串并行关系时,无法合理地自发调度执行,这在一定程度上,增加了开发人员的工作量,并且无法充分利用并行结构优势。  为此,本文提出一种新的作业执行描述定义,并通过证明该描述定义正确性和通用性,确认该定义能够描述所有作业执行过程。根据定义对原Map-Reduce编程模型进行了改进,新模型可自发根据子任务间逻辑关系进行调度,无逻辑关系的子任务间并行执行,充分发挥并行结构优势。基于上述思想,本文对改进后Map-Reduce编程模型进行了设计和实现,并在Hadoop平台上实验验证分析了模型的正确性、容错性和性能。  实验表明,与原有Map-Reduce编程模型比较,新模型可以自发根据作业内子任务串并行关系调度执行,更充分利用集群内部资源,有利于发挥结构优势,提高作业的执行效率和系统的整体性能,且对于作业内部不同子任务间串并行关系提高幅度有所不同。针对本研究中存在的问题,本文提出了相应的解决思想,为未来工作做出准备。
其他文献
随着科学技术的发展,创新设计技术和计算机在设计领域中应用越来越广泛,创新由原来的仿生法、智暴法、联想法、形象思维法和阵列法等基于认知的方法过渡向基于系统的方法方向发
微食物环是海洋生态系统中重要的物质和能量过程,是传统食物链的有效补充.微食物环研究是当前海洋生态学研究的热点之一,但对其结构的系统研究较少,海洋微食物网结构在2000年
在高中生物的教学中,会使用多种不同形式的教学方法,而思维导图却是教师最常使用的教学工具之一.思维导图是以文字、色彩、图形和各种符号组合而成的使抽象思维变得具象化的
关于有丝分裂和减数分裂末期染色体和DNA数目的变化,一直存在着争议,多数教师认为有丝分裂末期染色体数为2N(若生物正常体细胞染色体数为2N),因为多年来,人民教育出版社编辑
在全球经济一体化的趋势下,企业为了适应市场的不断变化,为了在市场竞争中占有更多的市场份额以及降低生产成本,纷纷利用Internet建立自己的供应链管理系统,形成供应链管理模
随着工业的发展,工业的管理不断的科学化,管理人员需要掌握工业现场的各种实时数据,作为管理和决策的基础依据。这就要求建立工业现场实时信息系统,将工业现场各种的实时参数
今天我们所看到的一切科学成就,都是众多科学家的智慧结晶,这条探索之路连接起来就成为了科学研究的历史.生物的科学史在生物教学内容中人文性较强,对学生的思想启迪具有很重
高中生物是一门科学性的实验学科,秉承学以致用的学科理念,高中生物在理论学习之余,更重要的是锻炼学生的动手实践能力.因此就要求重视高中生物的实验操作能力,在教师对细节
<正>鳞状细胞癌(squamous cell carcinoma,SCC)、基底细胞癌(basal cell carcinoma,BCC)、鲍恩病(Bowen’s disease)等均是临床常见的皮肤非黑素肿瘤,光线性角化病(actinic k
本研究以Pro/ENGINEER为平台的二次开发功能扩展软件的开发方法,Pro/E作为全球最完善的三维图形辅助设计软件之一,广泛应用在我国各个行业中,但国内的一些公司和企业,Pro/E作为一