联邦学习场景下的深度神经网络和通信问题研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:cppgreate
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,联邦学习作为一种机器学习技术,受到了爆发式的关注。其核心思想在于:保护不同参与者的数据隐私安全性的同时,通过同态加密、隐私求交、交换中间数据等方式,尽可能充分地利用所有参与者的数据,来建立联邦学习AI模型,从而解决特定的任务。相比于分布式学习,联邦学习的参与者可能更加的广泛和灵活,包括:个人终端、机构、公司、数据中心和边缘服务器等等。并且参与联邦学习的各方只需要约定好接入联邦学习的数据维度和样本对齐方式等信息,就可以在无需暴露本地数据的组织方式、数据的来源、数据代表的含义等敏感信息的情况下,和其他联邦学习参与者合法合规地进行联邦学习的建模。联邦学习体现了集中收集和最小化的原则,可以降低传统的中心化机器学习和数据科学方法带来的许多系统上的隐私风险和成本。传统的分布式学习各个计算节点因为需要承受大量的数据传输,因此分布式系统通常部署在内网中。然而联邦学习系统的各个参与方通常来自于不同的机构/组织,大量的通信都必须通过公网进行传输,因此网络的带宽和稳定性通常会显著影响联邦学习的建模效率。同时,因为联邦学习保护了各个参与方的数据隐私安全,如何识别各个参与方质量参差不齐的数据对于建模的贡献也是一个巨大的挑战。针对上述问题,本文主要首先分别基于梯度信息和模型质量分别提出了两种方法来测量联邦学习各个参与方的贡献量。测量得出各方的贡献量能够较好的反映出不同参与者的数据质量差异,即反映出不同参与者对于联邦学习建模的贡献大小不同。进一步的,针对传统联邦学习中联邦参数服务器通常采用联邦平均的数据融合方式,即:使用相同的权重来等比例的将各方上传的中间数据进行融合。本文进行了改进,改进后的参数服务器能够根据各方数据质量的差异,自适应地对数据融合的比例进行调节。在相同的联邦学习训练参数设定下,可以显著地减少联邦学习建模训练的迭代轮数,提高联邦学习建模的收敛速度。最后,针对联邦学习框架在复杂网络拓扑场景,基于All Reduce算法设计并实现了一套联邦学习框架。框架可以支撑任意层数的参数服务器架构,使用分层的设计,从而大大减小跨公网通信的数据量,提高跨数据孤岛联邦学习建模的效率。同时,本文基于这套框架完成了所有的实验工作,证明了框架的高效性和本文所提出方法的优异性。
其他文献
调制解调是信号检测和信号解调之间的关键技术,在非合作通信中起着至关重要的作用。调制识别技术在民用和军事领域都应用广泛,怎样在实际通信传输过程中,实现对接收信号调制方式的准确识别,是目前在调制识别技术当中迫切需要解决的难题。本文针对传统调制识别方法中所存在泛化能力弱、鲁棒性差等缺点,将深度学习应用到调制识别领域,并选用了模型更小的轻量级神经网络作为识别模型,提升了准确率的同时极大地减少了计算量,本文
石油是维持现代社会正常运转的重要能源之一,石油开采过程中一旦发生泄露,将会造成严重的生态灾害和巨大的资源损失。近年来视频监控技术在油田安全巡检中引起广泛的关注,由于视频监控图像具有直观方便的特点,在石油安全巡检中引入计算机视觉技术进行在线监控,及时发现油田采油作业过程中可能出现的故障,可以节省人力资源的消耗并保障安全巡检的质量和效率。传统的漏油检测采用LDR(Low Dynamic Range I
近些年来,运动捕捉技术在多个领域获得了越来越广泛地应用。基于惯性测量的运动捕捉系统相较于其他运动捕捉设备,成本低廉、使用方便、稳定性强,具有很高的研究价值。本文基于惯性测量技术设计研究了一种价格低廉、实时性良好的人体运动捕捉系统。本文的主要研究工作具体如下:1.分析了人体姿态跟踪系统的具体需求,并根据使用需求给出了系统的整体设计框架,完成了系统的硬件选型与制作以及上位机的软件选取。2.对三种传感器
缺陷检测是常见且重要的工业场景,由于待检测产品及其缺陷的多样性,传统的机器学习算法在可复用性上表现不佳。卷积神经网络以其强适应性和转换简单等优点在缺陷检测领域得到了迅速而广泛的运用。然而,由于图像表面众多像素级的缺陷特征的提取非常困难,即使特征金字塔可以针对小缺陷特征进行提取,而不同尺度特征图耦合时会损失大部分微小缺陷的特征,使得大背景下微小缺陷检测存在困难,性能难以提升,成为缺陷检测领域研究的热
随着人们生活水平的提高,居民私家车的数量在最近几十年急速增长,这使得人们对于出行需求逐渐由公共交通转为更加快捷舒适的私家打车出行,但是有限的道路与能源资源却不能无限满足私家车数量与人们对打车需求量的增长。另一方面,随着打车出行人数的增加,传统的“一人一车”的服务方式运营效率非常低下,使得车辆座位利用率极低,但是使用频率却越来越高,越来越不能满足大多数人的出行需求。近几年兴起的“共享经济”使得合乘出
视频监控是安防及应急救援的重要组成部分,因其呈现方式直观、传递信息多元而广泛应用于各类场景之中。传统方法的视频监控主要存在三大问题,其一是缺少视频智能分析,在监控过程中需要依靠人工同时对多个摄像头所拍摄的监控画面进行较长时间的观察,而且仅能对监控内容给出主观的判断,使得工作效率较低。其二是缺乏灵活监控,大多数的摄像头采用固定安装的方式,易存在监控盲区,同时极易受限于光照的变化,在更为重要的低照度或
随着人们对视频业务使用的不断加,越来越多新的要求在实际生产被提出。移动视频设备、军用无源视频设备、监控设备等一系列应用场景要求视频编码系统具有码率尽可能的低,编码端尽可能的简单的特点。为了应对这些需求,分布式视频编码(Distributed Video Coding,DVC)应运而生。分布式视频编码是一种基于分布式信源编码(Distributed Source Cording,DCS)的编码方式,
国内宇航员登上月球等地外星球不会太过遥远,地外星球表面复杂的环境会让宇航员在地外星球的行动变得困难,降低宇航员的科研能力。因此,本文将设计出一套下肢柔性助力服,通过柔性助力服对宇航员下肢进行助力,解决宇航员在地外星球行动困难的问题。首先,进行人体下肢建模及下肢柔性助力服概念设计。分析人体生理结构和人体下肢关节活动特征,根据下肢行走步态特性确定下肢尺寸参数和运动范围,设计出各个关节的运动自由度。完成
声纹识别技术在司法鉴定、军事安全、金融防欺诈等多个领域得到应用,但是在实际应用环境中,各种各样影响语音质量的背景噪声,使得实际工程应用中的声纹识别系统效果达不到理想要求,成为限制声纹识别技术发展的重要因素。因此,论文围绕声纹识别技术在噪声环境下的识别率提升问题开展研究工作。受到基于神经网络的特征映射方法在语音增强以及鲁棒性语音识别领域相关研究的启发,论文将基于神经网络的特征映射方法应用在鲁棒性声纹
深度学习技术在科学计算领域和图像处理的应用,是目前机器学习研究与应用的热点之一。机器学习的有效应用涉及数据、算法、算力三个方面内容。目前研究与应用主要着眼于算法,但是对许多重要的应用领域,主要制约机器学习应用效果的是数据。特别对应数据量少,数据特征不足的应用领域,数据质量和规模无法与算法要求匹配。针对数据质量差和数据规模小的导致深度学习模型训练效果差或无法训练的问题,目前常用的数据增强方法有数据变