【摘 要】
：
深度神经网络在多个领域应用广泛,但随着数据量的增长以及模型复杂度的提高,造成的影响是训练效率和模型精度的下降,对于深度神经网络的并行化研究可以有效解决这一问题.在现
【机 构】
：
河海大学 计算机与信息学院,南京211100
论文部分内容阅读
深度神经网络在多个领域应用广泛,但随着数据量的增长以及模型复杂度的提高,造成的影响是训练效率和模型精度的下降,对于深度神经网络的并行化研究可以有效解决这一问题.在现有分布式环境下进行数据并行化训练是神经网络并行化的一种有效方案,但其存在全局模型精度不佳、节点计算能力不平衡的问题.针对以上问题,本文提出了一种基于差分进化改进的深度神经网络并行化方法DE-DNN.DE-DNN利用差分进化方法对并行训练过程中获取全局模型的关键步骤进行改进和优化;同时提出一种基于批处理的自适应数据分配算法BSDA,减少并行训练过程中由于计算节点能力不平衡而造成的节点额外等待时间.实验基于NiN深度网络模型对本文提出的方法进行了实现并在CIFAR-10和CIFAR-100数据集上进行测试.实验结果表明,DE-DNN可以有效提高并行训练过程中全局模型的分类准确率,加快收敛速度;BSDA数据分配算法能够合理根据各节点的计算能力分配适量数据,减少训练过程中因节点等待产生的额外时间开销.
其他文献
本研究采用免疫组化方法检测了112例非小细胞肺癌和30例肺良性病变组织中E-cadherin的表达情况，分析了其与肺癌临床病理生理特征、转移和预后关系，并探讨了它们调控肿瘤转移的
内科治疗在乳腺癌的综合治疗中地位日趋重要.本文仅就我们近年来参与临床研究的新药加以介绍，并对内科治疗在乳腺癌治疗中的前景以讨论.
政协委员豪言壮语,人大代表大胆建言,五花八门的提案议案构成历届“两会”热点话题。通过一系列话题,我们能清楚地看到政府调控“城市住宅”的思路。
Members of the CPPCC
本研究采用完全随机分组的方法，前瞻性的观察注射用盐酸拓扑替康(单药)和卡铂加依托泊甙(CE方案)治疗小细胞肺癌的临床疗效和毒性反应.来探讨新药的临床应用. 临床资料和方
本文对格拉诺赛特用于白血病及肿瘤进行PBPCT时的有效性及安全性进行了探讨。本研究采用开放非对照组的方法进行，主要病种为急性白血病、恶性淋巴瘤、乳腺癌、卵巢癌，共观察了5
本文对白血病的治疗进行了探讨。文章对20世纪白血病诊治情况进行了回顾，围绕加强对自血病细胞耐药、加强对自血病患者个体化治疗、ATRA的诱导分化治疗、造血干细胞移植等治疗
本文对肺癌的化疗进行了探讨。文章围绕术后辅助化疗、诱导治疗和新辅助治疗、化疗和放疗联合应用、IV期肺癌化疗的价值、高剂量化疗和外周血干细胞支持治疗、腔内治疗、支气
随着人工智能技术的高速发展,基于神经网络的机器翻译技术愈发受到人们的重视.然而,限于有限的数据资源,基于该方法的小语种翻译效果并不理想.乌尔都语作为印度和巴基斯坦的
目的: 评价霉酚酸脂(MMF)联合环胞霉素A(CsA)和短程甲氨喋呤(MTX)与CsA和短程MTX两种方案预防急性移植物抗宿主病(GVHD)的效果. 方法: HLA完全相合异基因外周血造血干细胞
中文新闻文本主题分类任务中通常只考虑字符粒度或者词粒度中一种粒度的Embedding,这往往会使得在特征提取过程中丧失了另一种粒度的特性.本文针对中文新闻文本主题分类任务,