面向深度学习的分布式训练算法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:malongqingse
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着基于5G的物联网的发展,无线终端数量及其产生的数据呈现了爆炸性的增长。面对计算密集型的深度学习应用,集中式训练深度模型对计算性能和通信连接都提出严峻的挑战,迫切需要把计算资源前移至接近数据源的节点,以分布式的方式训练深度模型以降低对计算和和通信的资源需求。本文使用的分布式技术是交替方向乘子法(Alternating Direction Method of Multipliers,ADMM),以模型参数信息交互代替节点数据信息交互,利用多机计算力并行训练模型,实现了对计算复杂度高、分布式存储和隐私保护的大规模深度模型训练,以提高对分布式数据的处理能力。本文研究了深度网络和ADMM结合的分布式分类算法,具体优化思路如下:首先,各节点独自利用各自本地数据训练各自的深度网络;其次,利用独立式训练好的深度网络提供节点各自的数据特征,在此基础上,利用ADMM优化得到全局最优的分类参数,并利用反向传播算法调整各节点深度网络的特征参数,以匹配全局最优的分类结果。最终,在CIFAR-10数据集分析了算法的有效性。在此基础上,针对深度网络和ADMM结合的分布式分类算法实现基于端到端的训练方式。本文提出了基于端到端深度学习的分布式分类算法,算法首先将各节点数据分成多个批次,通过二次前传技术,结合ADMM优化和反向传播优化算法,对分类参数和特征参数进行基于批次的逐步优化更新。具体优化过程如下:首先各节点当前批次数据利用前一批次的深度网络参数,从输入层到分类输出层进行第一次前向传播,得到各节点当前批次的数据特征;其次,利用各节点当前批次的数据特征,通过ADMM优化得到所有节点全局的分类层参数,并将分类层参数赋值到深度网络分类层中;接着,各节点当前批次数据从输入层进行第二次前向传播,使优化后的全局分类层参数生效;最后,各节点固定分类层,利用反向传播算法优化特征层。最终,在CIFAR-10数据集上分析了算法的有效性和优越性。
其他文献
江北区慈城镇是中国历史文化名镇,拥有7000年的文明史、2500年的建城史、2200年的建县史以及1200年的县城史,是江南地区保存最完整的古代县城,是中国唯一入选BBC全球"传承的英雄"的文化保护典范,获得联合国教科文组织亚太地区文化遗产保护荣誉奖。
期刊
运动分割是计算机视觉与视觉信息处理领域的一种重要运用,它是分析视频场景与目标跟踪技术的基础,所以在很多方面都得到应用,比如:视频监控,汽车自动驾驶,自动导航,自动追踪等领域。近几年,视频数据在急速扩张,传统的聚类算法在面对如此高维的数据的时候已经显得很乏力,所以算法的改进是一直被广泛关注的课题,同样,在运动分割领域,高维数据,异常值数据,视角的不确定性都对传统算法提出了挑战,所以对现有的运动分割算
近年来随着智能交通辅助管理技术的不断进步发展,其为人们的生活增添了诸多便利。视频监控作为交通辅助管理的主要数据来源之一,其数据增长速度远超当前网络带宽的增长速度,为此实现视频流数据的高效处理是当前的一个研究重点。云计算虽然能实现数据的高效处理,但是中间数据传输延时较高,难以满足交通视频流数据处理时效性的需求。因此,边缘计算相关技术应运而生,其作为云端的算力衍生,在一定程度上缓解了以上问题。而国产龙
柔性相变执行器即使用柔性、可拉伸材料制成的相变执行器,在工业、医学、生物学、仿生机器人学等领域都有广阔的应用前景。本文设计、仿真并制备了两种结构的相变执行器,并搭建了三维重建系统,基于结构光三维重建检测技术对其应变性能进行了分析,主要研究内容如下:首先分析了相变执行器流体和超弹性体的模型,并设计了两种相变执行器的结构——单腔相变执行器以及双腔-微流道相变执行器,使用有限元分析(FEA)对这两种结构
指静脉特征识别技术凭借其安全性、易获取性、唯一性等优势在生物特征识别领域逐渐成为一个研究热点。但是限于拍摄环境、硬件系统和硬件成本,得到的图像其分辨率往往无法达到预期目标,分辨率低下的图像会严重影响识别系统的识别率。高分辨率图像拥有大量的图像细节,细节信息携带了丰富的图像特征,这对于指静脉图像的识别率至关重要。在这种情况下,通过基于学习的算法将低分辨率的图像转化为高分辨率的图像是一个可行的方案。图
物联网的快速发展,越来越多的物联网装置被部署到网络中负责数据的采集、存储、处理。在感知层的物联网装置负责收集用户的数据并传递,在网络中的物联网装置负责对数据进行处理。无论是感知层还是网络层的物联网装置均需要与其它装置进行互相通信,协作才能完成任务。在物联网装置进行通信前,数字标识作为其在网络中的身份证明,起着十分重要的作用。目前,物联网中主要采用注册服务器对物联网装置的标识进行集中管理。这种方式存
音频场景分类是对音频数据的识别和分类,即识别判断所记录声音的环境标签,可以应用于音频监控、异常发现和风险防控等多种安防监听系统。随着音视频监控等场合记录的音频数据越来越多,传统分类方法在面对大量数据时显现出了劣势,而此时深度学习技术则已被证明在利用数据特征和建立模式识别方面具有特定优势。本文以卷积神经网络为主要模型,从数据集和网络结构两方面对音频场景分类系统做出改进,分别在未引入更多数据量的前提下
换流站光测量系统远端模块的主要作用是实现该系统中电信号和光信号的相互转换,作为高压直流输电系统的核心设备,其运行可靠性对电力系统的安全稳定运行具有重要意义。然而,由于远端模块运行环境较为复杂,近年来因远端模块导致的超高压直流输电公司光测量系统故障频发。但目前对其运行状态检测及故障诊断技术的研究在领域内仍属空白,其失效趋势无法预测,运行状态难以判断,运维规范相对匮乏,设备全寿命周期管理无技术支撑。因
在互联网时代,人们获取图像的方式主要是通过搜索引擎在数据库中进行检索,但由于一句话可能对应很多不同的图像,所以很难找到想要的图像。随着人工智能技术的突破创新,文本到图像生成任务也具有了一定的可行性。文本到图像生成是一项涉及了自然语言处理与计算机视觉的跨模态任务,该任务的目标是不仅要保证生成的图像真实,而且要保证生成的图像与给定的文本描述语义一致。近年来,研究者以生成对抗网络(Generative
随着知识技能日新月异,让训练对象尽可能快的通过学习掌握技能和知识,以满足不同任务的需求,已经成为非常重要的研究课题。因为不同个体的学习能力有差异,而且会存在优先级高的对象个体,如何进行引导式自动学习,以提高学习的效率和质量,减少不必要的时间和物力消耗,已成为学术界和工业界共同关心的问题。为了解决传统式引导式学习方法的弊端,优化学习资源分配,本文在基于均匀采样学习算法和基于贪婪策略学习算法的基础上,