GPU计算在大数据处理中的应用

被引量 : 4次 | 上传用户:caobing1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
众所周知,在互联网时代信息呈爆炸性地增长。在科学领域、工程领域以及商业计算领域每天产生大量的数据。如此海量数据给计算机数据的存储和计算带来了严峻的挑战,实际对计算能力的需求远超自身IT架构的计算能力,传统的方式是不断地加大硬件投入来适应大数据的增长[1]。但是由于传统并行编程模型的复杂性,这无疑限制了系统的可拓展性,同时也降低了系统的易维护性。面对此种情况,这就迫切的需要一种全新的并行计算框架。近年来Hadoop已经发展为一个主流的云计算平台,由于它的MapReduce计算框架以及高效的分布式文件系统(HDFS),其特别适合处理海量数据。HDFS具有高容错性和高扩展性,允许用户将Hadoop部署在低廉的服务器上构成分布式系统。MapReduce编程模型屏蔽了分布式系统的底层细节,用户可在无需了解底层细节的情况下进行并行应用程序开发。但是由于CPU的并行度有限,对于数据密集型以及计算密集型问题,Hadoop还是显得力不从心。从这个方面来讲,Hadoop依然缺乏高性能计算能力。现代GPU (Graphics Processing Unit)已经广泛用于通用计算,常用于加速任务。众所周知,GPU由大量计算核心构成,拥有强大的并行能力,其计算能力远超CPU,擅长高性能计算。在科学理论领域和工程计算领域GPU集群已经被普遍采用。但是由于GPU集群有着低级别的数据存储能力,因此缺乏良好的容错机制。如果将GPU和Hadoop融合在一起,就可以充分利用GPU的高性能计算能力以及Hadoop的分布式计算模型以及其高性能文件系统。基于此,本文将深入探讨如何在Hadoop上运用GPU。本论文将介绍四种在Hadoop中应用GPU的方法,并通过对比实验结果,细致地分析这四种方法以及论证在Hadoop中利用GPU进行计算的有效性。
其他文献
本文比较详细地论述激光标记原理、标记方法、标记系统考虑以及激光标记在工业、民品诸方面的广泛应用。一、引言标记,就是在物体上标上诸如文字、数字、图案、商标等记号的
地铁车站建设中由于城市空间因素,使得部分基坑不可避免地在运营地铁上方进行基坑施工,容易引起地铁隧道的纵向不均匀变形,给地铁的安全带来了威胁。本文结合深圳某地铁车站
在劳动关系中,由于劳动者所处环境不具备平等性,基本处于弱势地位,因此,法律更多地会保障劳动者的合法权益及地位。一方面,我国现存的社会主义法律制度不够完善,这就导致我国
对1995年以来安徽省产业结构和就业结构偏离度的分析表明,安徽省产业结构变动中就业结构存在滞后性,农村富余劳动力向外转移面临长期压力。必须调整经济结构,以实现就业结构
目的为原料药生产企业实施新版药品GMP和进一步完善质量管理体系提供参考。方法对125家次原料药生产企业在新版药品GMP认证中发现的缺陷情况和主要问题进行了统计和分析。结
2007年6月11~13日鲁西南连续3天出现罕见的霾天气过程,为了弄清楚这次霾天气过程形成的天气学原因,利用常规气象资料、探空站资料及自动气象站资料和空气污染资料对这次过程进行
黑龙江省农产品第三方物流模式发展落后,大多数是由传统的物流企业发展而来,其发展优势和劣势处于相对并存状态。就黑龙江省目前发展情况对农产品第三方物流优劣势进行分析,
非语言交际指除了语言之外的所有交际手段,包括文字,体态语,服装服饰,发型,化妆等。作为交际的一种方式,非语言交际比语言发展的更早,在语言没有产生之前,人与人之间的交流是
习作是语文学科中的一个非常重要的组成部分,占着语文学科的半壁江山。把握好作文这一关,也就抓住了语文学科的"主干"。我们作为孩子习作起步的领路人,就要当好孩子的习作海
随着我国市场经济的不断发展与完善,铁路施工企业已经意识到会计管理内部控制工作的重要性。通过有效的会计管理内部控制手段,能够强化企业财务管理效率与质量,对铁路工程施