基于多GPU的深度神经网络训练算法

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:cnreon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习由于出色的识别效果在模式识别及机器学习领域受到越来越多的关注.作为深度神经网络算法的重要组成部分,误差反向传播算法的执行效率已经成为制约深度学习领域发展的瓶颈.提出一种基于Tesla K10 GPU的误差反向传播算法,该算法具有负载均衡,可扩展性高的特点.本算法充分利用PCI-E3.0传输特性,并结合peer-to-peer以及异步传输的特性以降低计算任务在划分和合并过程中带来的额外开销.除此之外,文章通过对算法流程的重构,实现算法数据相关性的解耦合,从而使得有更多的计算任务可用来掩盖传输过程.实验证明,该算法拥有双卡超过1.87的并行加速比,且算法执行过程中不会引入计算误差,可有效保证训练过程中的收敛效率,拥有理想的并行加速效果.
其他文献
随着互联网技术与手机APP的不断发展,电子商务迎来了全新的阶段,O2O商业模式孕育而生。本文运用SWOT分析了O2O模式,指出其具有的优势和劣势,并对O2O模式的未来发展进行了展望
2006年以来我国一直表现出物价飞涨的局面,在2007年达到高潮。我国的通货膨胀表现出混合性质,而成本推动也是这次通货膨胀的主要因素。在探讨了成本推动通货膨胀的基本理论之
指导学生开展“中学物理低成本创新实验”设计与开发的实践研究是为培养具有创造思维和创新能力的高素质人才而提出的,是对中学物理实验创新和改革的一次探索。本课题以中学
有效的内部控制有助于提高企业的运营效率和效益、增加企业核心价值。强化内部控制是现代企业制度的客观要求、是企业合法合规的保障。
节日由一系列活动和仪式构成,仪式和活动的举行需要一定的空间场所。古尔邦节是全世界穆斯林的共同节日,维吾尔族是中国信仰伊斯兰教的少数民族之一,喀什因其特殊的地理位置,
由资本扩张动力与市场空间两者的统一所形成的资本扩张系统,不仅需要吮吸自然界的"自然力",还需要吮吸"人的自然力"和"社会劳动的自然力"来实现其扩张。这种为了实现资本增值
电子信息文件管理系统是企事业单位信息化建设的需要。系统采用VisualStudio2003.Net作为其前台开发工具和操作平台,后台采用SQL Server 2000数据库,在.NET Framework框架下,
建立了黄芩药材中4种黄酮类化合物(黄芩苷、汉黄芩苷、黄芩素、汉黄芩素)的亚临界水提取测定方法。分别考察了温度、时间、水量对提取量的影响,并与有机溶剂甲醇提取法进行比
文章主要论述了消防服的发展历程、结构原理及其性能要求,并对目前国内外普遍应用的消防服进行分类阐述,同时预测分析了消防服的发展趋势,最后针对目前研究情况给出一定的建
翻转课堂是一种新型的学习模式,以现代信息技术为依托,改变以往传统的教学方法,在高校的教课过程中形成的一种新的教学方式和教学体验。实行翻转课堂的教学模式,它能够弥补传