【摘 要】
：
基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用
【基金项目】
：
国家自然科学基金重点项目(61832005),国家重点研发计划(2016YFC0402710)
论文部分内容阅读
基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,
其他文献
原发免疫性血小板减少症(Primary Immune Thrombocytopenia,ITP)是现代血液系统疾病中常见且多发的一种出血性疾病,发病与自身免疫机制相关,儿童和成人皆可发病,成人多发于中
随着现代教育事业的发展,教育理念的不断进步,对高中政治教师的教学效果越来越高。在高中思想政治这门学科的教学方法上也在不断变革,开展思想政治课程是追赶社会进步的重要
目的:观察中药穴位贴敷联合TDP治疗慢性阻塞性肺疾病急性加重期(Acute Exacerbation Chronic Obstructive Pulmonary Disease,AECOPD)患者的临床疗效。方法:将120例AECOPD患
最近几年,合作学习在语文教学中的应用力度逐渐加大。采用合作学习策略有助于学生语文知识的良好吸收,提升学生的综合能力,其在阅读教学中的作用也同样显著。具体在阅读教学
根据大型岸边集装箱起重机对安全销拉桩的性能要求,设计了新型拉桩结构,并基于有限元仿真分析结果,对局部结构进行了改进。为得到更加轻量化的结果,将响应面法引入到结构板厚
本文作者针对华容县近年来稻虾种养等各种高效种养模式出现并大面积快速发展的现状和问题进行了分析,同时提出相应的对策。
本刊讯近日,由内江市人民政府主办,内江市科学技术局和内江高新区管委会承办的第四届"内江高新杯"创客大赛在内江师范学院学术报告厅举行。本次大赛以"联通双城才聚内江"为主
幼儿教育时期是个人接受系统教育的起步时期,幼师在这一时期的教育质量决定了幼儿今后的发展质量。幼儿在进行学习活动中具有明显的兴趣导向性,就是我们常说的幼儿具有爱“玩
针对现有文档向量表示方法受噪声词语影响和重要词语语义不完整的问题,通过融合单词贡献度与Word2Vec词向量提出一种新的文档表示方法。应用数据集训练Word2Vec模型,计算数据
农业是人们衣食住行和长期生存的根本,是实现其他各项经济持续、稳定发展的助推剂,是促进我国国民经济发展的重要基础。我国一直对农业经济的发展非常重视,在经历了多年的土