基于GPU集群系统的MapReduce编程模型研究

被引量 : 0次 | 上传用户:wsykxc1429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。MapReduce是一种最先由Google公司提出来的可用于大数据处理的分布式并行编程模型,它通过把大数据集分发到集群中各个节点共同处理来实现数据的快速处理。因此,利用不同的并行结构来加速MapReduce计算成为了当前的研究热点。不同于CPU,图形处理单元GPU有着特殊的硬件结构,在处理能力和存储器带宽上相对CPU有着明显优势。同时,随着GPGPU计算技术的快速发展,利用GPU完成通用计算的研究渐渐活跃起来,越来越多的数据密集型的传统应用可以通过GPU来完成,并且可以获得几十倍甚至几百倍的性能提升。因此,利用GPU来加速MapReduce计算得到了广泛关注。然而之前那些基于GPU的MapReduce模型都有着自身的缺陷,它们大多只能以单节点单GPU或者单节点多GPU的方式运行,不能充分利用计算集群的优势去加速计算过程,而且所处理的数据量也十分有限。在本文中,我们通过CUDA和MPI技术实现了一个基于GPU集群系统并且支持大数据处理的MapReduce编程模型GCMR。在该模型中,我们通过一个双层并行机制(节点间并行和节点内并行)把MapReduce计算扩展到了GPU集群上,利用原子操作实现了一个GPU上的动态存储机制,并且通过一个多线程流水线机制优化了模型的整体性能。与之前的实现Mars相比,在处理小规模数据时,GCMR带来了单节点2.6倍到四个节点9.1倍的性能提升。而在GPU集群上处理大数据集时,则表现出了良好的扩展性。
其他文献
<正>文学的灵魂是什么?对于稍有一点文学常识的人,在回答这个问题时就会想到文学的两个基本命题:即"写什么"和"怎么写"。前者是指文学作品的思想、内容,后者则指文学作品的形
目的 比较蟾酥制剂与多聚甲醛制剂和三氧化二砷制剂 2种临床常用牙髓失活剂的细胞毒性。方法 实验用细胞为L92 9细胞 ,采用四唑盐比色法观测。结果 多聚甲醛制剂的细胞毒
本文从时空视角对海南市场化进程进行了比较研究,分析了海南市场化进程中产业结构趋异效应。在市场化进程方面,近10多年来海南市场化改革有了一定进步,但在所有制结构、政府
目的观察分析神经重症监护病房(NICU)多药耐药菌(MDRB)感染患者应用替加环素联合其他抗菌药物治疗的临床疗效,探讨其治疗价值。方法收集2012年7月-2013年12月NICU 9例多药耐
2004年7月至2009年7月,我科采用深静脉置管行胸腔穿刺闭式引流治疗液气胸60例,疗效满意。现报告如下。
目的:通过对某二甲医院2012年抗菌药物超说明书用药情况调查,了解医院抗菌药物超说明书使用的现状;并根据调查结果,深入分析抗菌药物超说明书使用存在的原因、合理性以及规范抗
本文通过对杜十娘与琵琶女艺术形象的比较,使人们看到悲剧主人公的不同追求和抗争展现出来的不同的人格魅力及产生的不同的艺术效果。
重要性高且人员难以到达的场所,为提高火灾探测可靠性,设置有主用和备用吸气式感烟火灾探测器,按照传统的接线方式,会带来备用的吸气式感烟火灾探测器在火灾报警控制器上长期
《红楼梦》后四十回的某些情节和文字可从前人的小说、诗文中找到来历,有些还在前八十回中出现过,这应该是长篇小说创作中的一种正常现象,不能作为后四十回与前八十回不是同
研究背景细胞凋亡通路包括外源性死亡受体介导的信号通路和内源性线粒体信号通路。Death Receptor5(DR5)是TNFR家族的成员,包含一个细胞质内的死亡结构域(DD)。受体三聚化时,