基于中心化差分隐私的联邦学习机制研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:usrrmhta
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习是目前使用得最为广泛的保护机器学习隐私的技术框架,能够在原始数据不离开本地的条件下训练深度学习模型以提供预测服务。但是,应用中的机器学习往往需要开放训练得到的模型以供下游应用使用,而训练模型必然包含训练样本的相关信息,因此标准的联邦学习框架仍然会泄露训练数据的隐私。为了更直观地解释这一问题,本文首先对联邦学习中的隐私攻击进行了全面的分类,然后利用基于梯度的成员推断攻击分析并量化了联邦学习中的隐私风险。在这种情况下,差分隐私是公认的能够控制训练样本隐私泄露的主要技术途径。联邦学习框架下的差分隐私主要有两种部署方式:中心化差分隐私需要引入一个可信第三方作为聚合器,可以全局地优化加入模型参数中的噪声,因此需要添加的噪声水平较低,使得训练得到的模型在预测阶段有较高的准确度。本地差分隐私对训练数据在本地脱敏加噪,然后进行标准的联邦学习流程。本地差分隐私的优点是不需要可信第三方作为聚合器,但局部加噪时缺乏协同优化,造成为达到同样的隐私保护效果,本地差分隐私需要引入更多的噪声,使得训练模型在预测阶段的准确度大幅降低。因此,本文的研究目标是使得加入训练模型的噪声水平与中心化差分隐私相当,从而减少对训练模型准确度的影响,同时去除中心化差分隐私所需的可信第三方聚合器。为此本文基于多密钥同态加密和Intel SGX提出了两种解决方案,具体如下:同态加密是解决需要可信第三方问题常用方法,其保证了数据能够在密文的形式下进行计算,可以在不信任聚合器的前提下集中地进行梯度聚合和加噪。但是标准的同态加密中只考虑了单密钥场景,因此应用到联邦学习中时需要数据方共享私钥,存在安全隐患。因此,本文基于多密钥同态加密技术,通过设计针对密文的差分隐私敏感度分析和加噪方法,为联邦学习提出了无需可信服务器的中心化差分隐私保护方法。实验结果表明该方法所需添加的噪声水平较小,具有较高的模型准确度。其次,虽然上述基于多密钥同态加密的方案可以在不需要信任聚合器的前提下进行聚合和加噪,但由于该方案基于非对称密码体制和双服务器设置,所以也带来了较高的计算和通信开销。因此,本文基于可信硬件SGX,通过设计多对一的SGX远程认证协议和高效的SGX安全计算机制,为联邦学习提出了基于SGX的中心化差分隐私保护方法。实验结果表明该方法所需添加的噪声水平较小,具有较高的模型准确度,而且计算与通信开销较小。
其他文献
土壤重金属污染一直是环境领域重要研究方向,过去的研究主要聚焦在工业区、农业区、矿区和冶炼区等传统污染场地,对试验场地土壤重金属研究仍然有限。然而从军械生产、运输、使用到拆卸销毁的整个周期都会向外界释放重金属,从而导致试验场地土壤产生严重的污染问题。进入到土壤环境中的重金属可以通过摄入途径在人体内累积,从而危害人体健康。因此,对土壤中重金属污染来源和污染特征开展研究,进而对其风险开展客观评价显得尤为
学位
电阻抗成像(Electrical Impedance Tomography,EIT)技术是一种无损伤的可视化检测技术,具有无辐射、非侵入和功能性成像等优点,在生物医学、农业地质、工业检测等领域具有广阔的应用前景。但EIT技术固有的非线性、病态性和不适定性等问题,造成其成像质量较低,限制了其在应用领域中的发展。为提高重建图像质量,本文对电阻抗成像正问题计算、逆问题求解、图像重构算法和实验验证等进行了
学位
在本文中,我们改进Keener提出的模型,假定钙离子释放点是离散的,从而该系统没有一个固定形状的传统行波解,而是一种具有突变现象的脉冲波。我们对脉冲波进行研究,解释了在该系统中波的突变现象。我们首先研究该系统正稳态的性质,得出在参数a小于某个临界值ac(L)时,这个系统有两个稳定的L-周期稳态uε,+和0.接着将这个具有双稳结构的系统拆分成两个具有单稳结构的子系统,利用反向传播条件,得到了连接uε
学位
大坝安全监测是大坝全生命周期中不可或缺的部分,其体系十分复杂,具有监测内容多、监测部位分布广、监测数据量大、管理事务多等特点。传统的大坝安全监测系统存在可视化效果差、数据分析处理能力低等弊端,远不能满足现代大坝安全监测与管理的需求。BIM技术具备三维可视化、精细化管理和全生命周期等优势,但是BIM技术在水库大坝运维管理阶段的应用还很少。鉴于此,本文将大坝安全监测与BIM技术相结合,研究大坝安全监测
学位
武汉河段位于长江中游,三峡水库运行后,坝下游径流过程发生变化,水库拦沙引起长江中下游河道冲刷和水沙特性改变。武汉河段含沙量及输沙量大幅减少,床沙粗化;高洪水流量出现频率降低,滩地上过流时间大大减小促进了洲滩上植被地生长,以及近年来实施了大量的整治工程,都导致了武汉河段糙率的改变。河流阻力可以通过糙率这一综合系数进行反映,它亦是影响河道行洪的关键因素。糙率变化也会影响水流运动,研究武汉河段糙率变化对
学位
随着机器人的使用不断向人们生活中渗透,对于机器人在复杂动态环境中导航能力的要求也不断提高。传统机器人导航算法越来越难满足这些场景的需求。由于近年来强化学习在序列决策问题上取得的惊人成果,一些学者开始使用强化学习来解决导航问题。但在不同的导航场景中,强化学习导航任务的状态空间、奖励函数、训练流程的设计还存在很多科学问题。本文根据移动机器人在真实世界的应用选择了多机器人场景和社交行人场景进行研究。在多
学位
近年来,为改善城市早晚高峰聚集性通勤出行带来的交通问题,各大城市大力发展和完善公共交通,通过提升公共交通网络覆盖率和优化接驳点布局,极大方便了城市居民通勤出行。目前,大部分通勤者在借助手机应用软件制定通勤出行方案和执行方案时,这期间交通系统的供需状态时刻处于变化中,对于通勤者而言,难以掌握这一系列高度变化的不确定信息,因而在遇到途中拥堵时原有的通勤路径方案已无法满足当前状态下通勤者对在线路径选择的
学位
随着人工智能技术的发展,机器的自主能力不断地提高,智能机器在各行各业的应用和发展日益深入。在此进程中,不可避免地会遇到智能机器无法应对实际任务的复杂性和不可预测性的情况,许多系统在未来仍将需要人类在监督、目标设定、应急响应等方面与机器进行持续、密切的交互,研究此种场景下如何混合人类决策和机器决策以达到更好的决策效果也因此尤为重要和有意义。在人机混合决策中,人类决策是否有效,即人的决策是否促进任务的
学位
声音事件检测(Sound Event Detection,SED)是指在音频中检测出特定事件,并定位事件发生起止时间的技术,其在视频检索、人机交互等领域有广泛的应用场景。近年来,深度学习方法因其优越性能,已经成为主流的声音事件检测方法。在深度学习方法中,数据标签显得十分重要。然而,由于某些事件的起止时间难以确定,并且不同的事件可能同时发生,通过人工标注强标记数据代价昂贵。与强标记数据相比,只含有类
学位
自旋电子学可以有效操控材料中的电子自旋自由度。目前自旋电子器件研究中的主要问题有:自旋的注入、长程输运、探测和操控。二维磁性材料可以在原子尺度上保持长程磁序且易受外场调控,是高存储密度、低能耗、多功能化纳米自旋电子器件的候选材料之一。本论文中,我们基于密度泛函理论,设计并表征了三类二维三元或四元磁性化合物,揭示过渡金属d轨道能级位置和材料电子结构之间的对应关系,得到具有室温磁性的新型二维双极反铁磁
学位