基于GPGPU的MapReduce高性能并行计算模型研究与应用

来源 :桂林理工大学 | 被引量 : 0次 | 上传用户:zel1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着硬件技术的迅猛发展带来了图形处理器的革新,这个原本只是用于图形数据处理的设备现在却变得举足轻重,它拥有高带宽和高度并行计算的能力使得在大规模数据集运算的应用上,它在性能上有比目前的CPU更具优势。 而互联网的发展也带来了数据的爆炸式增长,如何在这些海量数据中获取有价值的信息已经成为每个人都需要面对的问题。Google公司在这个方面成为了技术的引导者,它的开发人员设计并实现了一个仅仅通过普通计算机集群的组合以及在集群中运行的高性能并行计算平台,拥有这个平台能得到过去只有购买昂贵大型专用服务器才有的大规模计算能力,这就是MapReduce并行计算模型,目前MapReduce模型现被应用于天文信息计算处理、病毒库存储、网络检索服务等方面,这个模型能够解决数据爆炸式增长带来的计算机存储能力和计算能力不足之间的矛盾。 本文结合上面二者的长处,提出研究和实现一个完整的高性能并行计算系统,它以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。 首先我们给出基于MapReduce并行计算模型平台的系统架构,该架构为客户端—管理节点—工作节点三层。客户端通过命令行的方式提交任务;管理节点接收任务并进行分析,把任务拆分成多块,分配给它所管理的工作节点,然后调用工作节点进行计算;最后的工作节点是本论文研究和设计的重点,工作节点首先对GPU设备初始化并把计算任务分配给CPU和GPU,由二者互相配合,共同完成数据的计算,充分利用系统空闲的资源和获得更多的计算能力。 最后我们在已经部署好的平台上,进行测试系统性能的实验,通过基于CPU的MapReduce集群方式执行计算和本系统计算的对比实验,获得的结果表明这种基于GPGPU的MapReduce并行计算模型具有比前者更高的效率。
其他文献
江苏电力调度通信中心已建设的一批专业应用系统采集和积累了大量的电力系统运行、生产管理以及电力市场运营等方面的宝贵数据,为了将各个系统中分散的数据进行整合,更好地为电
近来,多宿主主机已经变得越来越普遍,尤其是在移动用户中。为了在文件传输中充分利用多个接入点,IETF已经提出来多路径传输控制协议(MPTCP)。MPTCP作为TCP的扩展,是在TCP的基
高通公司的BREW平台以其适用性和灵活的开发方法,受到了广大开发人员的广泛关注,在近年的应用开发过程中,已经形成了相对成熟的框架机制。大量优秀的应用已经进入了商用阶段,
概念语义相似度的测量是自然语言处理的一个重要的研究内容,它在信息检索、机器翻译、词义排歧、自动问答等领域都有广泛的应用,它是一个基础的研究课题。目前对概念语义相似
随着计算机技术、通信技术、控制技术及工业技术的发展,工业控制领域逐渐向信号数字化、控制智能化、通信网络化的开放式系统方向发展。现场总线与虚拟仪器技术在工业控制领
阈下信道作为一种典型的信息隐藏技术,是指在公开信道中建立的实现隐蔽通信的信道。利用阈下信道,通信双方可以在普通的数字签名中传递秘密信息,除通信双方以外的任何人均不
支持向量机(SVM)是在1995年由Vapnik等人提出的。支持向量机来源于统计学理论,并基于结构风险最小化原则。支持向量机与传统的学习方法相比具有避免局部最优解及过拟合等特点
随着大数据量的图像及视频文件的高质量显示在各种场合越来越突出的应用需求,大屏幕的显示环境已经成为一个常用的需求,计算机显卡的处理能力的日益发展已经能为整个显示提供
Internet已经成为目前世界上最大的信息资源库,但是网上信息资源纷繁芜杂,如何满足人们对快速、准确而全面获取信息的要求,已经成为摆在人们面前的一大难题。搜索引擎的出现
随着汽车行业的快速发展,汽车控制网络(简称车控网)在整个汽车设计过程中,变得越来越重要。缩短车控网的开发周期,降低车控网的开发成本对汽车开发非常重要。车控网的开发需要引入