面向深度神经网络大规模分布式数据并行训练的MC2能耗模型

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:wdyy123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过度能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”3阶段MC2能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC2与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12%,69.50%,34.58%,13.47%,5.23%,22.13%,10.53%.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗情况,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.
其他文献
高中物理试题中常出现电磁感应与简谐运动结合类试题,由于这类试题涉及到电学和力学部分内容,试题综合性强,学生求解难度较大。根据这类试题中的磁场是否为匀强磁场,将这类试题分为导体棒在非匀强磁场中做简谐运动类试题和导体棒在匀强磁场中做简谐运动类试题,并分类归纳出每类试题的相应求解方法。
期刊
电磁感应中涡流制动类试题在高中物理各类考试中常常出现.本文根据涡流制动线圈回路放置情形将电磁感应中涡流制动类试题分为涡流制动回路间隔放置类试题和涡流制动线圈连续放置类试题,分类剖析同类试题特点及其一般求解方法.
期刊
<正>纵观近几年全国卷高考,电磁感应中的“导轨”问题出现的频率很高,该类试题的相关统计如表1所示,其考查内容集中分布在电学(电源、电路、电流、电荷量、电热)及其与受力、运动和功能关系相结合的问题上。如图1所示,在电磁感应的“导轨”问题中:导体棒在磁场中切割磁感线,产生感应电动势;若与导轨形成回路,则产生感应电流,电流在磁场中又将受到安培力的作用,进而改变导体棒的运动;
期刊
受人为和自然因素干扰,宁夏荒漠草原原生灰钙土经过长期沙化,面积逐渐缩小并形成岛状斑块分布在广大风沙土中。为揭示灰钙土沙化后土壤水分时空特征,2017—2019年生长季内(5—10月)在宁夏盐池县皖记沟村选取大(200~300 m2)、中(约100 m2)、小(约50 m2)面积各3个斑块,分别开展斑块内部灰钙土与其外围风沙土的含水量对比研究。结果表明:(1)从时间上来看,2017年均匀降雨格局使得
期刊
文章依照文献对比法和理论分析法首先就面向计算机软件工程的机器学习技术进行了论述,其次提出了面向计算机软件工程的机器学习改进模型策略,最后合理探究出了机器学习中的双层规划模型与算法以及机器学习在算法交易中的应用措施,以供参考。
期刊
随着经济、社会的发展,人民群众的生活品质逐步提升,消费也在逐步提升。消费水平在反映一个国家或地区的经济发展状况以及人们生活质量方面发挥着重要作用。本文针对居民的消费水平和其影响因素进行深入研究分析,选取我国2003—2021年相关数据,运用stata建立回归模型,实证分析后得出一些影响居民消费水平的因素,然后对提高我国居民消费水平提出相关建议。
期刊
结构健康监测系统的大力发展每天都在产生大量的监测数据。对于结构健康监测系统来说,判断这些产生的监测数据是否正常是对结构健康状态进行分析的第一步,也是关键的一步。同时,监测数据的异常与否也是判断传感器、采集设备、传输设备等是否正常工作的关键性依据。对于一段数据进行识别,判断数据是属于什么样的异常,是一个多分类的问题。采用基于特征提取和机器学习相结合的算法,对时序数据进行分类,能够快速地判断数据是否异
期刊
对一道电磁感应习题进行了拓展探究,通过选择合适的虚拟回路,以解释金属圆环中产生的感应电动势究竟属于动生电动势还是感生电动势,并利用不同回路求解的感应电动势相等的特点求解了空间磁场的水平分量,最后利用这一水平分量另解了该题。
期刊
本文以2014—2019年高考全国Ⅱ卷物理(电磁学)部分试题为研究对象,采用归纳、统计、分析等方法对电磁学在高考物理中的地位、考查的知识点以及考查形式等方面进行统计,总结出考纲中的高频考点,并提出几点教学建议。
期刊
低温系统是大科学工程运行的重要保障系统,其结构复杂、接口界面众多,且与其他系统存在多专业、多作业面的长时期交叉施工,导致项目质量、安全、技术和进度面临较大风险。从项目管理的全系统、全周期角度出发,分析交叉施工的各种影响因素,并提出有针对性的风险管控措施,为低温系统及其他交叉施工关联系统的现场施工提供保障。
期刊