【摘 要】
:
为提升深度学习(Deep Learning,DL)模型推理的准确率,深度神经网络(Deep Neural Network,DNN)的结构变得愈加复杂,其训练处理的数据量也随之增大。因此,传统基于单节点的训练方式及其计算、存储能力已无法满足大规模DNN的训练需求。为保证DNN训练性能并节省训练成本,在公有云中分布式地部署训练DNN模型已成为一大趋势。然而,在Amazon EC2公有云中通过实际运行典
论文部分内容阅读
为提升深度学习(Deep Learning,DL)模型推理的准确率,深度神经网络(Deep Neural Network,DNN)的结构变得愈加复杂,其训练处理的数据量也随之增大。因此,传统基于单节点的训练方式及其计算、存储能力已无法满足大规模DNN的训练需求。为保证DNN训练性能并节省训练成本,在公有云中分布式地部署训练DNN模型已成为一大趋势。然而,在Amazon EC2公有云中通过实际运行典型DNN训练负载的动机实验发现,分布式深度神经网络(Distributed DNN,DDNN)训练存在大幅度性能波动现象。进一步对动机实验结果进行分析得出DDNN训练性能波动的三大形成原因:第一、当前主流公有云中实例(即instance)的计算与网络资源配置不均衡、以及模型参数频繁地通过网络进行更新,使得DNN训练集群中的参数服务器极易成为资源瓶颈;第二、与本地可控的集群资源相比,公有云实例底层硬件存在较大的异构性;第三、当前分布式深度学习框架优化机制下存在DDNN训练计算时间与通信时间不平衡现象,从而导致深度学习集群计算资源利用率低下。为此,本文提出一种面向深度学习性能保证的高效益云资源配置框架Cynthia。具体而言,Cynthia首先构建起一个轻量级的DDNN训练性能分析模型及训练损失函数模型,综合考虑由资源瓶颈和硬件异构性带来的性能波动影响,用于准确预测DDNN训练完成时间。其次,基于该性能预测模型,Cynthia进而设计一个简单且有效的高效益云资源配置算法,可在保证DDNN训练性能的同时,最小化训练成本花销。最后,通过在Amazon EC2中运用Kubernetes实际部署一个由56个容器构成的深度学习集群,实现了Cynthia原型系统。基于Cynthia原型系统的大量实验表明:Cynthia在提供可预测DDNN训练性能的同时,减少DDNN训练成本花销高达50.6%,并具有可接受的运行时性能开销。
其他文献
氢能是可再生能源蓝图中的重要组成部分,而电解水制氢和氢氧燃料电池是氢能应用中的两大决定性器件,形成一个清洁能源循环模式。析氧反应(oxygen evolution reaction,OER)、析氢反应(hydrogen evolution reaction,HER)和氧还原反应(oxygen reduction reaction,ORR)是上述两类能源器件中的重要半反应,但由于其动力学迟缓,均需要
精准医疗是一种可以从基因层面诊断病因的新兴疾病诊断方法,它的兴起离不开基因数据分析处理技术的发展。基因数据分析处理软件BQSR是基因数据分析处理中的重要一环,用于修正碱基质量分数,对检测变异位点的准确性有着至关重要的影响。由于基因数据规模较大,目前业界通用的BQSR软件在对全基因组数据进行碱基质量分数修正需要几十甚至上百个小时,这极大的影响了疾病诊断的时效性,因此,本文旨在针对BQSR的耗时瓶颈设
褐飞虱Brown planthopper(Nilaparvata lugens(St?l))是亚洲大部分水稻种植地区面临的首要害虫。类酵母共生菌(Yeast-Like Symbionts,YLS)主要存在于褐飞虱脂肪体中,经卵垂直
目的和意义:山豆根碱B是从中药山豆根中分离得到的一类具有抑制三阴性乳腺癌活性的新骨架化合物,课题组前期以(-)-Cytisine和(-)-Maackiain为原料,通过仿生合成的方法对其进
支持向量机最初是为解决二分类问题被提出的,适用于小规模数据集学习.如何有效地将其推广到解决大规模多分类问题,是一个既有趣又有挑战性的课题.本文首先梳理了一对多、一对一、一对一对余和一次性求解策略这四种多分类策略.分析了这四种策略下的8个经典多分类支持向量机算法,并绘制分类效果示意图方便直观理解原理.接着,结合L2,p范数和两种多分类编码(one-hot编码和正余弦编码),提出一种基于一次性求解策略
褐飞虱(Nilaparvata lugens St?l)是我国及亚洲很多地区水稻上的主要害虫之一,因刺吸取食、产卵和传播水稻病毒病等行为严重危害水稻生长和产收。褐飞虱具有迁飞性、集群性、
氮肥在稻田易于损失,其当季利用率低。脲酶抑制剂可以通过抑制脲酶活性以达到延缓尿素水解为铵态氮的目的,硝化抑制剂可以通过抑制氨的氧化,有效减少氮素淋失和反硝化损失,因
一直以来,C-H官能化是构筑C-C键最经济、高效、便捷的途径,对药物分子选择性烷基化修饰不仅可以提高分子的脂溶性,还可以增强分子的稳定性,是合成化学中C-C键构筑的重要研究
独立学院教育国际化是自身发展战略的选择,也是国家对高等教育,对独立学院发展的要求。20世纪90年代,我国对落实科教兴国战略做出了全面部署,在一个崭新的历史背景下高等教育成为教育国际化的主阵地,而独立学院是我国高等教育的生力军。2010年,《国家中长期教育改革和发展规划纲要(2010-2020年)》中明确提出了完善独立学院管理和运行机制;要求开展多层次、宽领域的教育交流与合作,提高我国教育国际化水平
剪力墙是一种能够有效抵抗地震荷载作用的抗震构件,具有较大侧向刚度,同时也有着较高的竖向承载力,常作为高层或超高层建筑结构的主要抗侧力构件。按照现行的抗震设防标准设