GPU集群环境下支持向量机训练的异构并行实现

来源 :南开大学 | 被引量 : 0次 | 上传用户:cmfu2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机(SVM)具有理论基础完备、所需训练样本数目少、泛化能力强等优点,已经在文本分类、人脸图像识别、手写数字识别、语音识别、生物信息学等模式识别领域中获得广泛应用。SVM训练可表示为一个二次规划(QP)问题,由于内点法(IPM)是求解线性和非线性QP问题的有效方法,因此可用于SVM训练算法的求解。但对于大规模数据集,SVM训练仍然存在内存需求大、运行时间长等缺点,这对SVM的应用范围及其有效性形成很大制约,已成为其发展瓶颈。   集群是目前最流行的一种高性能计算系统,近几年在TOP500中所占比例一直稳定在80%以上。值得注意的是,2012年11月发布的TOP500中带有加速器的超级计算机系统已达12.4%。图形处理单元(GPU)比CPU具有更高的浮点运算能力和内存带宽,尤其适用于数据并行计算,在TOP500中绝大多数带有加速器的超级计算机都采用了GPU。可以预见,GPU集群将是未来一段时间的主流高性能计算平台。   针对使用大规模数据集进行SVM训练时存在的内存需求大、运行时间长等问题,本文在GPU集群环境下,提出采用MPI+CUDA混合编程模式求解基于IPM算法的SVM训练问题。通过将数据分布在多个节点上降低对单节点的内存需求,并使用GPU加速对计算密集部分的求解,包括不完全乔列斯基分解(ICF)、I-H(τ)D-1H、乔列斯基分解(CF)和Δx等,提高SVM训练的速度。在千兆网连接的5节点GPU集群系统环境下,使用ticdata、ijcnn1、covtypes、rcv1和url等不同规模的数据集进行实验。结果表明,在满足精度要求的同时,covtypes、rcv1和url等大规模数据集获得3倍于CPU集群的加速,rcv1数据集更是比LibSVM获得接近470倍的加速。  
其他文献
由于道路交通事故,每年有数百万世界各地的人们死亡和受伤。执行的安全标准,如车速限制和道路条件的申请,但仍然有很多工作要做。这需要使用Vehicular Ad Hoc Networks(VANET),这
Web服务是近年来发展迅速的一种分布式计算技术,能够实现跨平台、跨技术地互操作。许多大型的企业越来越多的将自己的应用封装为Web服务发布,但随着跨企业应用的日益复杂,单
  随着通信技术与互联网的快速发展,越来越多的用户、企业通过Internet进行通信与交流、合作,与此同时伴随着网络中的各种信息的安全和保密越来越引起重视和关注。为保护个人
在通信系统中,流密码是保证通信安全最重要的一种手段,大量应用于军事、政治和电子商务中。其安全性得到研究学者的大量关注,特别是衡量密钥流安全性强度的度量。   线性复杂
伴随着互联网产业的迅猛发展,大数据的存储和处理问题受到越来越多的关注。云计算、云存储也就成了网络新时代的一个重要概念。非关系型数据库便是云存储的解决方案。HBase是A
随着移动互联网的快速发展,Android系统占据了移动平台的大部分市场份额,同时Android应用发布数量也呈爆发式增长。伴随而来的是Android恶意应用数量的激增,恶意扣费、隐私窃取
组播技术是为了克服传统单播网络中大量数据在同一时间被重复传输所带来的网络资源浪费问题,但是由于组播的特殊性,目前商用中的组播计费机制依旧沿用单播的计费机制,并未完全发
随着云计算的人量应用,各大云平台将存储、计算资源集合在一起,按需为各种应用系统提供高性价比的服务。为了确保云环境中的资源得到充分利用,必须使用负载均衡技术。现有的负载
随着网络技术的不断发展,特别是我国信息化建设的不断普及,电子政务的应用日益广泛。电子政务是政府部门应用现代信息通信技术,将管理和服务两项职能通过网络技术进行集成,向
随着互联网的发展,社交网络发展迅速,尤其是移动社交网络随着用户数目的增加而备受人们关注。然而,当前的移动社交网络中还存在着一些不足。现在的移动社交网络只是支持好友之间