天河三号原型机分布式并行深度神经网络性能评测及调优

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:chengrong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络DNN模型是人工神经网络ANN模型的重要分支,是深度学习的基础。近年来,由于计算机算力的提升和高性能计算技术的发展,使得通过增加DNN网络深度和模型复杂度来提高其特征提取和数据拟合的能力成为可能,从而使DNN在自然语言处理、自动驾驶和人脸识别等问题上显现了优势。然而海量的数据和复杂的模型大大提高了深度神经网络的训练开销,因此加速其训练过程成为了一项关键任务,其技术范围涵盖从底层电路设计到分布式算法设计等多个方面。国产天河三号原型机峰值速度的设计目标为百亿亿级,巨大的计算能力为DNN训练提供了潜
其他文献
2020年1月15日,江苏省建材行业协会荣誉会长聂长兰率相关人员赴中江装配式建筑科技有限公司考察.聂长兰一行在公司会议室听取了董事长高亚林关于企业建设及业务板块、生产经
期刊
目的获取安全防护结构中细观多胞材料在高速冲击下的波传播规律。方法采用基于3D-Voronoi细观多胞结构数值仿真和基于最小二乘法的局部应变梯度法,研究细观多胞结构在高速冲
目的研究电机在不同工况下的温升情况,完成电机散热能力评估,为电机散热优化和工程通风设计提供参考。方法模拟驱动机构实际运行环境,在断风条件下进行自然散热温升试验,获取
目的针对空间同位素热源异常事故场景入水过程的热冲击安全性问题,研究热冲击入水试验方法。方法通过对同位素热源入水事故场景分析,基于热边界等效、热量等效原则,研究空间同位素热源热冲击入水的试验条件和方法,明确试验样品的加载温度、人工海水体积、浓度、温度以及试验转移时间等,提出热冲击入水试验流程和试验装置要求。结果样品的加载温度为空间同位素热源的运行温度,人工海水需要完全淹没样品,且体积在样品的20倍以
目的获得尺寸和质量最小的缓冲结构。方法基于能量守恒原理,建立包装装备缓冲结构撞击环境缓冲特性理论分析的数学模型,获得正撞和侧撞工况下缓冲结构尺寸和防护效果的变化关
目的获取毛白杨的静态压缩力学性能。方法针对含水率为14.6%,密度为0.544 g/cm3的毛白杨木材试件进行静态压缩实验,通过实验获得毛白杨顺纹、横纹径向和横纹弦向的抗压模量、
1.去产能进展缓慢,新点火项目和产能不降反增rn据中国水泥协会信息研究中心初步统计,截至2020年底,全国新型干法水泥生产线累计有1609条(注:剔除部分已关停和拆除生产线,不包
期刊
随着多核处理器的发展和计算需求的不断增长,高性能计算系统规模不断增大。使用模拟器对高性能计算系统进行模拟,对系统设计及优化有着重要的作用,互连网络模拟则是其中不可
本文从播种、田间、施肥、病虫害防治,四个方面探究芝麻栽培技术,旨在提升其产量和品质,为芝麻种植户提供参考。
存储加固引入交织可以提高存储可靠性。交织可以把原始数据序列打乱,减弱交织前后数据序列的相关性,从而降低数据多连续位错误对存储的影响,有利于提高系统纠错能力。由于将