【摘 要】
:
现代人类生活越来越离不开手机、传感器和各类物联网终端设备。这些设备收集的大量个人数据催生出大量机器学习应用场景,对我们的生活质量和经济产生巨大影响,因为算法、算力的大幅改进提升,深度学习算法在其中大放异彩,在一些识别任务中已超越了人类识别准确率。尽管如此,在工业界许多领域如医疗、金融和零售等,更多产生的是相互独立的小数据集,容易形成数据孤岛。另一方面,互联网的高速发展使得人们对于数据隐私和数据安全
【机 构】
:
中国科学院大学(中国科学院深圳先进技术研究院)
【出 处】
:
中国科学院大学(中国科学院深圳先进技术研究院
论文部分内容阅读
现代人类生活越来越离不开手机、传感器和各类物联网终端设备。这些设备收集的大量个人数据催生出大量机器学习应用场景,对我们的生活质量和经济产生巨大影响,因为算法、算力的大幅改进提升,深度学习算法在其中大放异彩,在一些识别任务中已超越了人类识别准确率。尽管如此,在工业界许多领域如医疗、金融和零售等,更多产生的是相互独立的小数据集,容易形成数据孤岛。另一方面,互联网的高速发展使得人们对于数据隐私和数据安全的意识越来越强。这两方面因素导致深度学习算法所需的数据无法被直接收集到数据中心进行大规模的模型训练,从而使任务准确率难以得到保证。联邦学习允许客户端在本地训练和更新其模型,同时保护个人数据隐私,其很好地应对了以上场景的两个主要问题:数据孤岛和隐私安全,但由于移动终端和物联网设备的计算资源受限问题,现阶段联邦学习依然面临着模型性能和训练成本方面的挑战。本文探究联邦学习中的深度学习算法模型加速问题,提出元自动剪枝联邦学习加速算法,该方法受神经网络架构搜索算法和剪枝算法的启发,对联邦学习系统中深度学习算法模型的训练和推理过程进行加速,来提高终端设备算法模型在实际资源受限场景中的训练和推理速度。元自动剪枝联邦学习加速算法主要由三大模块组成,即联合训练模块、聚合更新模块和向量搜索模块。其中联合训练模块包含元自动剪枝网络训练和加速模型训练两个部分,通过构建元自动剪枝网络来生成加速网络的权值张量,以根据参与者的本地数据分布情况动态调整加速网络的权值,并同步优化更新元自动剪枝网络的参数。聚合模块将优化更新后的元自动剪枝网络进行聚合,得到参与下一轮训练的全局元自动剪枝网络模型。向量搜索模块运用进化算法思想设计了加速网络搜索策略,在计算量的约束下,根据加速网络的验证准确率情况来搜索最优编码向量并投入下一轮训练。各个模块之间紧密相联共同优化,构建了整个元自动剪枝联邦加速算法训练流程正反馈闭环。实验表明,本文所提出的元自动剪枝联邦学习加速算法加快了模型训练收敛速度,并且在“通信成本-计算成本”权衡问题方面,在目标准确率和通信量预算相同情况下,元自动剪枝联邦学习加速算法的计算效率比其他联邦学习算法提高了大约两倍。
其他文献
近年来的家谱数字化为中华传统家谱资源的整理和整合提供了新途径,也对家谱可视化提出了新的要求。现有的西方家谱可视化形式和国内的元图可视化方式在展现中华传统家谱信息方面具有一定的局限。从中华传统家谱的特点出发,在中西方现有数字家谱可视化形式的基础上,提出优化的家谱树状图和家谱力导向图两种可视化形式,对比讨论各自的优劣和适用情形,提出通过交互实现二者的相互补充。据此设计中华传统家谱可视化平台的原型,并基
近年来,GNSS(Global Navigation Satellite System,全球卫星导航系统,包括北斗、GLONASS、GPS、Galileo等系统)技术迅速发展并得到广泛应用,已经成为国防军事、国民经济发展中必不可少的基础设施。随着世界海洋经济的迅速发展,各国海洋贸易中的船舶数量随之剧增,基于GNSS的船舶自动识别系统(Auto Identification System,AIS)已
作为保证飞机各设备正常运作的基础,复杂机载设备布线设计因其具有布线环境复杂、布线周期长、工作量大等特点,传统的人工布线技术已经不再适用,逐渐采用自动化布线技术。近年来,尽管自动布线技术备受关注,但其往往存在计算效率低、多线缆干涉、线缆与设备信息未匹配、线缆类型差异性未加区分、算法实时可视化效果差等问题,极大影响了复杂机载设备布线设计的工作效率。为此,研究自动化布线算法并实现三维可视化系统具有重要意
以赣南地区野生建兰蒴果为材料,研究了不同培养基对种子无菌萌发的影响以及NAA浓度对无菌芽生根的影响,并对建兰种子无菌萌发过程进行了观察。结果表明:添加外源植物生长调节剂6-BA、NAA以及适宜浓度的蔗糖能显著提高建兰种子的萌发率,建兰种子无菌萌发最适培养基为1/2 MS+8 g/L琼脂粉+60 g/L蔗糖+2.0 mg/L NAA+0.4 mg/L 6-BA+1 g/L活性炭;当0.8 mg/L
在研究嗜尸蝇类蛆虫的长度与尸体死亡时间之间的关系的基础上,利用蛆虫长度与尸体死亡时间存在的正相关系,将蝇类蛆虫长度推断尸体死亡时间运用于实际案例中。
高等教育是国家发展的一块基石,但中国的高等教育起步较晚,专业知识体系还不够完善,在教学中易造成知识点缺失或知识点冗余等问题,借助知识梳理和可视化手段可以解决专业培养体系中的问题。传统的知识梳理方法依赖专家的手动梳理,不仅费时费力,而且效率低下。知识图谱的出现打破了这个僵局,其依托于人工智能与自然语言处理技术,为知识的梳理及可视化带来了新的方向。为了更好的对专业知识结构进行梳理,对知识图谱构建中的三
以游戏教学方式在小学数学课堂中的应用能激发学生对知识的求知欲望,从而让小学生在轻松、自由的环境下学习知识。
针对花样滑冰运动人体运动轨迹复杂,动作类型多样,普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题,提出了一种基于时空图卷积网络与多通道注意力机制融合方法(spatial attention temporal graph convolution networks, SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧,使用OpenPose算法提取人体骨骼关键点数据,降低
厚环黑蝇Hydrotaea spinigera是在尸体腐败时全程在尸体上及尸体周围的泥土中出现的昆虫种类,对于死亡时间的推断有着比较重要的意义。迄今尚未见该种类生长发育系统研究的报道。为了明确其生长发育规律,以对相关的死亡时间推断提供基础数据,本研究通过放置幼猪尸体于野外环境诱集该种类,在室内饲养建立试验种群,分别于20,24,28和32(±1)℃恒温下饲养该昆虫,对其生长发育历期、体长随时间的变
近年来,我国居民生活水平逐步提高,营养供给能力显著增强,高脂食物摄入量陡然增加。过量的脂肪摄入会破坏机体能量代谢和物质代谢平衡、引发系统炎症,诱导肥胖、糖尿病和非酒精性脂肪肝等慢性代谢疾病的发生。基于此,美国农业部和中国营养学会分别修订了各自的膳食指南,以期通过平衡膳食改善过量脂肪摄入诱发的系统炎症和代谢紊乱。药食同源作为平衡膳食的重要组成部分,其干预缓解肥胖发生和发展的作用效果及机制备受关注。本