基于本地差分隐私的联邦学习方案研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lj780427
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算设备性能的大幅升级满足了机器学习技术对大规模运算的要求,进而掀起了人工智能的潮流。然而,数据资源却因各种原因变得更加分散。一方面,频发的数据安全事件证明传统数据中心隐私保护能力不足;另一方面,移动智能设备的普及使得人们已经有能力自行存储,管理和使用数据。联邦学习作为一种面向分散数据集的机器学习方案,期望以交换模型更新的方式实现数据的安全聚合与使用。但通信代价常常制约其效用的发挥,并且觊觎数据价值的攻击者仍能使用重构攻击和推理攻击等手段获取联邦成员的隐私信息。本地差分隐私技术常因其去中心化的实施形式,被用于帮助联邦学习完成隐私计算。但扰动机制引入的噪声会降低数据可用性。针对上述问题,本文开展如下工作:一、基于本地差分隐私频数估计的联邦学习方案设计。考虑到联邦平均算法在梯度平均模式下通信代价高的情况,本文引入SignSGD方法和动量方法,以其结合形式产生的符号化梯度代替对损失函数求导得到的数值型梯度作为模型更新参数,以压缩客户端的上行传输数据量。再进一步使用基于随机响应方法的本地差分隐私机制对离散形式的符号化梯度进行随机扰动,为梯度数据提供增强的隐私安全保障。在服务器端,扰动后的符号化梯度按照本地差分隐私机制的要求完成频数估计,再按过半票决原则进行全局模型更新。实验表明,在联邦成员数量较多时,该方案能够以很小的精度损失实现梯度数据隐私保护,并获得不低于随机梯度下降方法的经验收敛速度。二、基于本地差分隐私直方图估计的联邦学习方案设计。针对本地差分隐私方法应用于联邦学习中带来大量噪声的问题,本文分析了联邦成员间隐私需求存在差异的特性,根据差分隐私的原理提出了个性化本地差分隐私的定义。然后采用在本地设置隐私参数的方式设计一个满足个性化本地差分隐私定义的直方图估计算法,并在理论上证明其安全性。在联邦成员隐私需求服从正态分布的假设下,本文讨论了个性化隐私设置造成样本分散于各隐私层级的问题,并引用一个数据复用机制在服务器端扩充高隐私水平的样本量以优化数据效用。实验表明,个性化方案带来的隐私松弛降低了隐私噪声对过半票决准确率的影响,并且有效地将基于符号化梯度的联邦学习方案拓宽至联邦成员数量较少的学习场景中。
其他文献
党内法规执行责任制是指在党内法规执行过程中,各级党组织和党员领导干部在党内法规执行范围内,明确各主体的责任内容和实施执行机制。党的十八大以来,以推进全面从严治党和实施依规治党重大战略的现实需要为导向,学界逐渐形成一股研究党内法规的热潮,党内法规学逐渐成为一门显学。但是,作为直接约束执政党行为活动的内部行为规范,是亟待学界回答的主题。本文试图通过公共政策执行理论、激励理论来推测和阐释党内法规执行责任
学位
木质纤维素生物质是最丰富的可再生碳资源,利用可再生的生物质资源制备生物基化学品具有重要的理论价值与应用前景。迄今为止,生物质定向合成高值化学品仍是具有挑战性的科技难题。本文针对木质纤维素独特的组成和结构,通过生物基复杂体系反应路径的设计,结合催化剂功能化合成,探究了一种以木质纤维素为原料选择性制取对甲基苯甲醛的新方法,主要的研究成果包括:1、基于木质纤维素选择性催化裂解和富含对二甲苯芳烃中间体选择
学位
随着信息与通讯技术的高速发展,数字通讯网络成为了控制系统的重要组成部分,这类控制系统被称为网络化控制系统。通讯网络使得信息交互更加便利,但同时网络也十分容易遭受攻击。拒绝服务(Denial-of-Service,DoS)攻击作为网络攻击中最为常见的攻击,它阻塞了通讯网络,致使传输的数据包丢失,对控制系统的稳定性造成了威胁。因此,近年来,DoS攻击下网络化控制系统的稳定性问题成为了控制领域的热门话题
学位
报纸
GH4151合金是一种新型涡轮盘用变形高温合金,具有良好的抗蠕变、抗疲劳和抗氧化等性能,服役温度可高达800℃。该合金的合金化程度非常高,在凝固过程中元素偏析严重,析出了大量的有害相,同时增大了合金的热加工难度。此外,该合金在中温区表现为低塑性,这会影响合金的使用寿命。因此,本文重点研究了该合金的凝固偏析行为和热处理工艺对合金组织及力学性能的影响,同时通过改变Co含量来调整合金在中温区的变形机制,
学位
机械臂抓取是高级机器人操作系统中最为重要的基本技能。完整的机器人抓取系统涉及到机构学、图像处理、路径规划等诸多技术。在工业场景下,机器人抓取系统默认待抓取物体是存在抓取位姿。但在室内桌面的抓取场景中,受限于物体尺寸、形状以及机械臂末端夹爪结构等问题。常用的二指电动夹爪无法直接抓取包装盒、圆盘、卡片等扁平类物体。然而机器人可通过滑、拽等预操作调整物体的位置与方向,使之存在抓取姿态。但由于环境和抓取流
学位
《民法典》第404条将“正常经营买受人规则”适用范围由浮动抵押领域扩张到一般动产抵押领域,《<中华人民共和国民法典>有关担保制度的解释》第56条对该规则的具体适用进行解释。对正常经营买受人规则适用范围扩张的改动是否合理,学界争议不断,故有解释论证的必要。在对适用范围讨论充分之后,则需要重点探讨该规则在实践中应如何适用,主要涉及正常经营买受人规则的构成要件或适用要件。最后便是该规则适用的法律效果,将
学位
民族问题是关系国家稳定、民族团结和社会安宁的重大问题,中国共产党在不同的历史阶段都高度重视这一问题,在不同时期采取了不同的政策举措,促进了各民族的平等、团结和共同繁荣,提升了中华民族的整体凝聚力和认同感。十八大以来,以习近平同志为核心的党中央在继承和发展马克思主义经典作家的共同体思想、中国化的马克思主义民族理论、中华优秀传统文化的基础上,着眼于国际、国内的现实背景,推进了中华民族共同体建设的理论与
学位
中国在决胜脱贫攻坚战役中取得了举世瞩目的成就,同时也创造极具中国特色的政治动员式的扶贫制度模式。第一书记制度是党中央根据历史特殊时期的特殊任务,为帮助乡村早日实现脱贫,消除我国绝对贫困人口而设计的一种政党下乡,干部带动群众发展的制度模式。第一书记在走访入户中探寻贫困户的致贫根源,在面对面的交流中获取贫困户的利益诉求,从而推动扶贫政策的顺利落地与实施。然而在实际工作中,第一书记同贫困户的互动交流并没
学位
近些年来,在电子设备性能增强功能增多、短视频发布与直播开设全民化以及信息交流论坛使用便捷性提升的良好环境中,人们日常生活娱乐方式和知识获取途径逐渐多元化。然而随着参网人数迅速增加,用户群体规模不断增大以及社区平台的便利性增强,从应用或商品评论区以及社交平台中捕获合理有效的软件需求并进行软件需求文档设计维护的需求工程任务难度和压力显著增加。面对规模巨大的需求或评价,传统应用手动方法完成需求工程中软件
学位