降低分布式训练通信的梯度稀疏压缩方法

来源 :浙江大学学报(工学版) | 被引量 : 0次 | 上传用户:sj20091021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对现有的梯度稀疏压缩技术在实际应用中面临时间开销大的问题,基于分布式训练中残差梯度压缩算法提出低复杂度、能快速选取top-k稀疏梯度通信集的方法.采用Wasserstein距离确定梯度分布特征符合Laplacian分布;利用Laplacian分布曲线面积关系确定关键点,并通过最大似然估计简化特征参数;估计稀疏梯度top-k阈值,并结合二分搜索对阈值修正.该方法避免了现有随机抽样方法的不稳定性和数据排序之类的复杂操作.为了评估所提方法的有效性,在图形处理器(GPU)平台采用CIFAR-10和CIFA
其他文献
为了降低道路交通拥堵发生的风险和应对成本,基于网络变结构基础模型,提出适应大型活动拥堵预防的中微观层面的网络变结构优化方法和流程.分别建立路段和交叉口变结构模型,以
马克思一生都在寻求人类自由解放之道,这种价值取向与其对人类共同体的关注是相一致的。犹太文化家庭教育影响了马克思共同体思想的产生,是解读马克思共同体思想的辅助视角。
为了提高AdaBoost集成学习算法的数据分类性能,提出基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法.综合考虑待检测样本与邻居样本的相似度及与不同类别样本集
毋庸讳言,当分工将人类带入文明社会的门槛之时,也将人类引向了阶级社会之中.文明与阶级看似对立实则相通,构成了内嵌于"文明的阶级社会"的两极.从分工的观点来看,"文明的辩证法"所揭示的正是"文明社会内部充分发展着的对立和矛盾的本质".因此,只有抓住了分工之"因",才能诠释文明与阶级之"果",只有从分工的悖谬存在状态出发,才能真正通晓或破解历史的矛盾运动及其所昭示的"文明的辩证法":一方面,"分工随着文明一同发展";另一方面,"阶级的存在是由分工引起的".
目的观察微粒皮种植治疗糖尿病溃疡过程中,溃疡肉芽组织中转化生长因子-β_1(TGF-β_1)、基质金属蛋白酶(MMP-1)、基质金属蛋白酶抑制因子(TIMP-1)的动态变化。方法 25例糖尿
小学英语教学不同于初中英语、高中英语、乃至大学英语,存在其自身特点,主要表现有小学英语教学具有趣味性、灵活多样性、直观性、任务性等特点。认清这些特点可以有针对性地
近些年,技术创新不但激发了中国会展业市场的发展活力,而且促进了中国会展业的转型升级。受疫情影响,去年3月,中央提出创新展会服务模式。4月,商务部发布了《关于创新展会服
国务院近日发布了《关于加快建立健全绿色低碳循环发展经济体系的指导意见》(国发(2021)4号),要求"推进会展业绿色发展,指导制定行业相关绿色标准,推动办展设施循环使用。"绿
提升学生政治核心素养是素质教育的基本要求之一, 要提高学生综合素养,必要的政治核心素养是基础。对政治核心素养的培养,应让学生回归本真,树立正确的社会主义核心价值观。
该文总结健脾益肾活血法治疗糖尿病肾病(DN)的思路,发现该病多由脾肾亏虚、瘀血内停所致,以健脾益肾活血法治疗,可改善患者的临床症状,阻止病情进展。