基于融合架构的MapReduce模型与Hadoop加速策略研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:aeo55121890
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异构结构的并行编程开发,特别以CPU-GPU为代表的异构结构,在GPU的开发利用上需要使用厂商提供的OpenCL/CUDA等GPU编程标准,而对普通开发者GPU内部底层架构的复杂性为其开发带来了诸多困难。MapReduce编程模型成功的应用在基于多核CPU或GPU设备中,为开发者提供了抽象可编程接口。本文在已有基于CPUs或GPU的MapReduce编程模型的基础上,针对新的异构计算架构——CPU-GPU融合架构,提出了一种新的MapReduce编程模型(FGMR),并提供统一的编程接口。主要工作包括以下两个方面。第一,本文分析了多种基于MapReduce的异构编程模型,以前的MapReduce模型都是基于分离式的CPU-GPU架构,在GPU内采用全局原子操作带来严重的写延迟。基于新的异构架构提出了 FGMR的编程模型,为了解决使用全局原子锁的影响,设计了一种多hash表的结构,解决了多线程之间的并行写入问题,并巧妙的利用了 GPU中的shared memory加速数据的写入。本文分析了静态任务调度和动态任务调度策略,根据实际情况采用了动态的任务调度策略,提高了系统的计算性能,定量分析了任务块大小对异构结构的性能影响。用四种不同的负载分别在Mars、MapCG和FGMR进行测试,实验结果表明数据处理性能有明显的提高。第二,针对原有的Hadoop分布式系统,分析了多种异构架构加速基于CPU的Hadoop分布式系统的方法,将Fusion的单节点模式扩展为多节点的分布式系统,利用多层的并行加速数据的处理。文章给出了多节点情况下的Fusion结构Hadoop框架,并通过Kmeans的实例在不同数据情况下验证了该加速模型的性能,与CPU版本的Hadoop比较,实验结果显示性能有了一定的提升,同时验证了FGMR模型具有良好的可扩展性。
其他文献
近些年,随着机器学习以及譬如射频和红外传感器等无线情景感知技术的快速的发展,WiFi由于其易获得性和低成本性,使得人们对WiFi的研究超越其最原始的用途,多种多样的无设备被
羌塘盆地地处我国青藏高原中北部,位于含油气丰富的特提斯构造域东段,夹持于北部边界可可西里-金沙江缝合带和南部边界班公错-怒江缝合带之间。属于中生代海相叠合沉积盆地,
随着无线网络技术和计算机应用的不断发展,基于位置服务(Location-based Services,LBS)在生活多个领域被研究与应用,主要用于方便人们实时获取需要的位置信息。当前室外定位
人体行为识别作为计算机视觉领域的一个研究热点,它受到了越来越多研究者的关注并且在计算机视觉领域有着广泛的应用,例如:智能监控、智能安防、虚拟现实、运动性能分析以及
人脸识别是图像处理、计算机模式识别、生物特征识别等领域的研究的热点,因其巨大的学术和实际应用价值而越来越受到广泛的关注。近几十年来在众多科研工作者们的努力下人脸
随着生物信息学的发展,特别是进入后基因时代,基因芯片技术得到了越来越广泛的应用,这直接导致了基因表达数据的大量积累,而如何从海量的基因表达数据中提取出有意义的生物学
玫瑰(Rosarugosa)是蔷薇科蔷薇属中多年生常绿灌木,由于其品种之多,花瓣色泽艳丽,香味浓郁诱人。作为应用特别广泛的观赏花卉,在园林应用中的地位是举足轻重的,除此之外,玫瑰
目的:癫痫是一种复杂的大脑疾病,反复发作,严重影响人类生活和健康。抗癫痫药物(Antiepileptic drugs,AEDs)是治疗癫痫的主要手段。目前仍有1/3的患者用药后无法达到持续无癫
矮牵牛作为第一个被广泛应用的花坛植物,其研究的方向已经拓展到多个领域,成为了重要的模式植物。启动子作为基因调控水平最重要的环节,对植物的生长发育及对外界环境的响应
三色堇(Violaspp.)为一类再生顽拗型物种,无法通过基于再生体系的遗传转化手段对其进行分子研究或基因改良。本课题拟通过直接法导入与再生相关的外源基因AtWUS和CcBBM;分别