【摘 要】
：
作为一种新兴的机器学习范式,联邦学习允许参与者在不暴露私有数据的同时协作建模,打破了“数据孤岛”的困境。然而,经典的联邦学习算法存在诸如通信开销高、无法实现个性化的协同训练等问题,使其难以大规模部署。针对上述问题,基于知识蒸馏技术的联邦蒸馏学习应运而生。通过聚合客户端模型预测而非模型参数,联邦蒸馏学习优化了联邦学习的通信效率,实现了个性化的协同训练。然而,联邦蒸馏学习可能受到来自恶意的中心服务器或
论文部分内容阅读
作为一种新兴的机器学习范式,联邦学习允许参与者在不暴露私有数据的同时协作建模,打破了“数据孤岛”的困境。然而,经典的联邦学习算法存在诸如通信开销高、无法实现个性化的协同训练等问题,使其难以大规模部署。针对上述问题,基于知识蒸馏技术的联邦蒸馏学习应运而生。通过聚合客户端模型预测而非模型参数,联邦蒸馏学习优化了联邦学习的通信效率,实现了个性化的协同训练。然而,联邦蒸馏学习可能受到来自恶意的中心服务器或参与者的推理攻击,造成正常参与者的隐私信息泄露。因此,在联邦蒸馏学习中,研究如何避免协同学习的隐私泄露,具有十分重要的现实意义。本文围绕差分隐私技术,研究联邦蒸馏学习的隐私保护问题。主要研究内容如下:（1）基于混洗模型提出了一种差分隐私联邦匿名集成蒸馏框架（Differentially Private Federated Anonymous Ensemble Distillation,简称DPFAED）。DPFAED基于混洗思想,在客户端提供本地差分隐私保护的同时,使用独立的混洗器匿名化客户端消息,实现隐私放大。此外,DPFAED使用客户端随机采样和假消息嵌入增强差分隐私保护,优化了隐私-效用权衡。实验结果表明,DPFAED在提供严格隐私保护的同时,训练效果与无隐私保护的基线方法相当。（2）基于秘密共享提出了一种混合隐私保护的联邦模型蒸馏框架（Hybrid PrivacyPreserving Federated Model Distillation,简称HPFMD）。基于秘密共享的思想,HPFMD在客户端发送本地预测时,将其随机拆分进行混淆,避免了半可信的中心服务器获得客户端的原始预测。然后,HPFMD在中心服务器的聚合预测中添加差分隐私噪音以抵御半可信客户端的推理攻击。实验结果表明,HPFMD在提供完善的隐私保护的同时,训练效果与无隐私保护的基线方法近似。
其他文献
尽管生成对抗网络迄今取得了显著的成功,但将其应用于解决现实世界的问题仍然是一个重大挑战。在真实的交通监控场景中,生成多样化颜色的货车或轿车图像而不改变车牌等纹理细节这一任务,条件图像生成很难通过控制颜色属性来改变生成结果。图像风格转换的生成结果不可避免地会呈现色斑,且不能在特定区域进行颜色风格转换。甚至是最新的解耦表征学习也不能将颜色单独解耦出来,控制除颜色之外的其它因素保持不变。为了解决这个问题
约束多目标优化问题（CMOPs）广泛存在于许多现实应用中,如常见的背包问题,车辆路径优化问题,投资组合优化问题等。进化计算是一种具有高度鲁棒性和适用性的全局优化方法,能够有效处理传统优化算法难以解决的复杂问题,因而被广泛的应用于求解约束多目标优化问题。但是许多进化算法在处理具有复杂约束的CMOPs时面临着找不到可行解或仅能找到局部最优解的困难。复杂约束优化问题可行域的可行域具有狭小、离散、不规则的
目前,深度学习已被广泛应用于图像处理和计算机视觉领域的相关研究中。早期的深度学习方法通常着眼于基于图像的局部特征对目标任务进行建模,对特征之间关联的关注较少。近年来,注意力机制走入研究者的视野并逐渐成为相关研究中的重要工具。基于注意力机制的深度学习方法通常在深度模型中引入特征关联结构,从而在模型学习过程中实现对目标任务相关特征的增强和无关特征的抑制,进而获得更优的目标任务深度模型。本文在前人研究的
社交网络可以让现实中的人们在网络上产生联系,它为用户提供跨越空间的互动平台,满足用户的社交需求。用户是社交网络的活动主体,用户之间通过建立好友关系构成社交关系。在社交网络平台上,每天有大量用户生成大量的文本内容,用户通过生成文本表达自己的想法和意见,这些文本代表人们的情感表达。对社交网络中用户和文本进行分析和研究,有助于政府或企业了解人们的情感,帮助政府或企业发现社会群众情感变化,以及更好地思考和
行人重识别是在跨相机、跨时段拍摄的视频序列中匹配目标行人的智能视频处理技术。可见光模态下的单模态行人重识别极度依赖良好的光照条件,限制了其在复杂场景中的应用,而红外相机的普及克服了这一局限性。因此,可见光-红外的跨模态行人重识别技术逐渐成为一个热门的研究方向。但其不仅面临着单模态重识别任务中的模内变化,还面临着模间异质性。为了解决这些问题,本文给出了基于动态交互和属性嵌入的跨模态行人重识别研究方法
针对土地利用（LU）数据因空间尺度或产品来源的不同从而对生态系统服务价值（ESVs）估算产生影响的问题，该文采用当量因子法、升尺度算法与波动性指数等方法，研究了长三角地区ESVs对LU数据的空间尺度效应。结果表明：（1）随着尺度的增加，LU的空间细节逐渐不明显，相同土地利用类型呈现出聚合的现象，但总体的土地利用类型空间分布相似。（2）不同尺度的LU数据估算出的各种生态系统服务功能价值与ESVs各不
汽车保有量逐年上涨,驾驶安全问题也越发严峻,降低交通事故发生率能够挽回大量的生命财产损失。在影响交通安全的因素中,驾驶员所占比例远高于车辆本身和外部环境。现今,计算机视觉技术的发展势头正盛,在目标检测、动作识别、图像处理等方面都取得了一定的成果。利用计算机视觉技术来辅助驾驶是一项极具现实意义和应用价值的研究方向。我们希望通过固定在汽车内的摄像头对行驶过程中驾驶员的动作进行监控,结合准确高效的算法进
随着遥感设备和计算机技术的快速发展,高分辨率遥感数据的获取日益便捷,遥感技术已广泛应用在土地利用检测与规划、气候监测、城市规划、自然灾害避免、智慧农业和军事安全等领域。在这些领域中,需要依靠计算机视觉技术来分析理解高分辨率遥感数据,提高对数据的理解能力。语义分割作为基本的计算机视觉任务,是其他技术研究的基础,是遥感图像场景解析的重要研究部分。近年来,基于深度学习的卷积神经网络在图像处理领域发展迅速
随着硬件计算能力的提升,实例分割领域中的瓶颈问题不再是大量的模型计算,而是昂贵的数据集标注成本。为了缓解实例分割模型在落地应用过程中标注成本高昂的困境,本文以低成本和快速的弱标注方式实现一种弱监督实例分割算法。在标注方面上,本文利用了在实例分割任务中自带的边界框和成本低廉的目标点两种弱标注,使标注信息在低成本下尽可能还原目标。在研究方法上,为了在实例分割模型中排除检测分支对掩码分支的影响,本文首先
太浦河是跨两省一市的长三角生态绿色一体化示范区的空间骨架。目前发布的示范区国土空间规划草案已提出区域协同发展的目标，但从流域尺度的空间规划落实到场地尺度的规划设计尚缺乏中间层次的规划支撑，导致实际问题与解决策略之间的错位。浙大-西浦-同济联合Studio模拟了长三角生态绿色一体化语境下跨行政主体协作的跨学科、多尺度流域规划设计，回溯各个尺度，归纳原型设计策略作为系统性的规划设计导则，探讨在流域尺度