【摘 要】
：
针对深度神经网络在分布式多机多GPU上的加速训练问题,提出一种基于虚拟化的远程多GPU调用的实现方法。利用远程GPU调用部署的分布式GPU集群改进传统一对一的虚拟化技术,同时
【机 构】
：
中国科学技术大学计算机科学与技术学院,中国科学技术大学苏州研究院,中国科学技术大学软件学院
论文部分内容阅读
针对深度神经网络在分布式多机多GPU上的加速训练问题,提出一种基于虚拟化的远程多GPU调用的实现方法。利用远程GPU调用部署的分布式GPU集群改进传统一对一的虚拟化技术,同时改变深度神经网络在分布式多GPU训练过程中的参数交换的位置,达到两者兼容的目的。该方法利用分布式环境中的远程GPU资源实现深度神经网络的加速训练,且达到单机多GPU和多机多GPU在CUDA编程模式上的统一。以手写数字识别为例,利用通用网络环境中深度神经网络的多机多GPU数据并行的训练进行实验,结果验证了该方法的有效性和可行性。
其他文献
2017年6月1日-5日，全国妇联党组书记、副主席、书记处第二书记宋秀岩率队深入江苏省盐城、南通、常州、南京等地，就妇联改革落实情况进行调研督导。宋秀岩强调，深入贯彻习近平总
揭示我国石油成套装备制造业发展现状,分析石油装备企业参与国际竞争所遇目标国的国家风险、制造风险、合同风险、结算风险等挑战,并提出相应对策。
2017年4月22日,由全国妇联和国家新闻出版广电总局共同主办的＂书香飘万家＂家庭亲子阅读2017年＂亲子阅读书香润德＂启动仪式在人民日报社举行,全国妇联副主席、书记处第一书记宋秀
综述了以p-型共轭聚合物为给体、n-型有机半导体为受体的非富勒烯聚合物太阳电池光伏材料最新研究进展,包括n-型共轭聚合物和可溶液加工小分子n-型有机半导体(n-OS)受体光伏
传感器数据的采集在物联网系统,智慧城市等多种信息产业中扮演着最基础的,最根本的角色。但在数据采集完成后,将数据传输到服务器中却是一件有着多样化解决方案的事务。在众
<正>文前小语什么是"超距离想象"?简单地说,就是一个人有"千里眼",能"看"到千里之外别人的行踪;有"顺风耳",能"听"到千里之外别人的言语,甚至一声轻轻的叹息。这不是特异功能
<正>2002年,为了贯彻落实财政部《关于加强国有金融企业集中采购管理的若干规定》,交通银行颁布其集中采购管理办法。一晃十年已过,十年来,交通银行的集中采购已经深入人心,
本文研究环烷酸—异辛醇—煤油去除高浓稀土溶液中铁、铝杂质的工艺条件。采用调节料液ｐＨ值小于１．５的办法克服萃取中形成乳化的现象；测定了稀土、铁、铝在环烷酸和盐酸中的分配比；提
随着经济的发展,现代数字制造技术与计算机仿真技术的成熟,数字化工厂渐渐进入人们的视线。数字化工厂以产品制造和提供的产品服务为核心,由核心企业以及一系列相关联成员构
<正>每一届放胆作文大赛落幕,都会收到很多星星的反馈:获奖的,有的开心不已,向小编表达自己的激动之意;有的则隐隐地失落着,觉得名次并不如意。未获奖的,沮丧不已,问小编,为