一种基于Hadoop+CUDA实现21CMA相关器的方法

来源 :第三届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:leisiyue520zh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  根据21CMA相关器的算法特点,本文在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上,提出了一种基于Hadoop+CUDA平台实现21CMA软相关器的方法.本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势,调整了相关器的并行模型,使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升.同时,本文选择广泛应用于大数据处理平台的Hadoop软件架构,利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行,非常便捷的获得了集群系统的线性加速比.Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠,为后续的大数据分析提供了支撑环境.
其他文献
本文以上海石油化工股份有限公司涤纶事业部PTA装置的对二甲苯(PX)氧化反应工艺为研究对象,围绕对二甲苯氧化工艺(三井工艺)进行实验研究,考察了反应温度、催化剂浓度、催化
  针对协同过滤算法在海量数据环境个性化推荐应用中存在的低效率问题,本文结合MapReduce 框架特点,设计了一种应用于个性化推荐的基于位置编码的索引树(Location Bitcode
会议
  Fruit pathogens can either acidify or alkalinize the pH of the colonized host environment.This capability has been used to divide fungal pathogens into acid
会议
  近几年以来,基于内容的图像检索(content-based image retrieval,CBIR)一直是一个活跃的研究领域。图像特征匹配是CBIR能否实现的一个关键环节,而图像特征匹配主要依赖于
会议
本文以COStream作为数据流编程语言,输出经过编译优化后的目标代码.实验选取数字媒体领域典型的算法进行测试,测试结果表明编译优化后的测试程序基本达到线性加速比,验证了编
会议
  基于互联网的文件传输策略将直接影响到文件传输效率和网络资源的使用效率,这一情况在各种资源集中的云计算环境表现的更为明显,特别当传输的是大量的小文件时尤为突出。针
  如何从海量的数据中将不同的商品在恰当的时间、合理的位置推荐给适当的人(或人群)是当前面临的主要挑战。考虑到不同国家不同区域的人(或人群)在宗教信仰、职业、教育程
会议
刘德宾君是河南一所大学的青年美术教师,硕士阶段主攻中国画,勤奋作画、读书和写作。出于对美术史的兴趣,时常将学习心得电邮给我,也发来一些论文请我提意见,我或给出一些简
兔巴氏杆菌病(Rabbit Pasteurellosis)是一种由多杀性巴氏杆菌引起的呼吸道传染病。不同年龄兔均可发病,发病率和病死率都很高,严重影响养兔业的发展。本研究建立了兔巴氏杆
天然产物是药物的重要来源。许多常用的临床药物均来自于微生物次级代谢产物。其中放线菌(Actinomycetes)在产生抗生素方面具有独特的优势,大约75%的抗生素都是由放线菌产生。从动物共附生微生物可以分离到许多结构新颖,生物活性多样的化合物。而昆虫共附生放线菌及其次级代谢产物的研究是一个新的领域。有可能对新药的研究及解决抗药性问题起到巨大的推动作用。本论文对采集自厦门大学学生宿舍的蜚蠊进行体内(