深度学习中差分隐私保护算法研究

来源 :内蒙古大学 | 被引量 : 0次 | 上传用户:lovejr622
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习作为现在的主流算法,其层层抽象的实现原理导致模型的训练数据面临严重的隐私泄露风险。差分隐私凭借其坚实的数学基础在众多隐私保护算法中脱颖而出,通过在深度学习模型的训练中加入噪声,可以有效防止攻击者通过模型参数获取训练数据集隐私。然而,噪声的加入会导致模型的准确度下降,为实现深度学习模型隐私性和准确度的有效权衡,本文进行了以下三方面研究。本文提出了基于自适应和矩限制的差分隐私优化算法(Differential Privacy Adaptive and Momental Bound,DPAda Mod),通过在梯度中加入噪声保护隐私,并利用自适应学习速率减少模型训练轮数,降低隐私损失。此外,提出的DPAda Mod算法利用矩限制对学习速率进行有效调整,提高对初始学习速率和记忆长度参数的鲁棒性,缓解了差分隐私和深度学习结合的复杂场景中调参困难的问题。实验仿真表明,相较于传统的差分隐私优化算法,DPAda Mod算法在保证准确度的同时,其隐私损失降低了约34%,有效权衡了模型的隐私性和准确度。为进一步提高差分隐私优化算法准确度,本文提出了基于自适应梯度修剪的差分隐私优化算法(Adaptive Gradient Clip Differential Privacy,AGCDP)。设计自适应梯度修剪方法,根据梯度修剪阈值加噪保护深度学习模型的隐私。通过减少训练过程中非必要噪声的加入,提高深度学习模型的准确度。实验仿真表明,相较于传统算法,AGCDP算法在保证隐私的情况下进一步,其准确度提高了约3%,更好地权衡了模型的隐私性和准确度。为提高差分隐私保护算法在深层神经网络的适用性,本文研究了权重归一化方法和初始化方法对于权衡深层神经网络隐私性和准确度的作用,提出基于权重归一化和初始化的差分隐私优化算法(Weight Normalization-InitializationDifferential Privacy,WN-INIT-DP)。本文重点研究深层残差神经网络,利用权重归一化改进深层残差神经网络结构,并根据改进后的网络结构选择相应的初始化方法。通过构建稳定的神经网络结构和加速模型收敛速度,实现模型的隐私性和准确度的有效权衡。实验仿真表明,WN-INIT-DP算法通过权重归一化和初始化结合的方法,在降低深度学习模型的隐私损失的同时有效提升了模型的准确度。本文针对深度学习模型的隐私性和准确度的权衡问题进行研究,将差分隐私优化算法分别和自适应学习速率、自适应梯度修剪以及权重归一化和初始化方法相结合,提出了DPAda Mod算法、AGCDP算法和WN-INIT-DP算法。仿真结果显示,本文提出的三种算法有效权衡了模型的隐私性和准确度。
其他文献
本文采用有限差分法和密度矩阵原理研究了抛物势InGaN/GaN核壳量子点(CSQD)和GaN/InGaN反核壳量子点(ICSQD)两种结构中电子的带内跃迁光吸收,详细讨论了无杂质和有杂质存在两种情形下的尺寸和混晶效应,并对两种结构的研究结果进行了分析和比较.InGaN/GaN CSQD中带内跃迁光吸收的计算结果表明:随着核半径的增加,光吸收系数的吸收峰位均呈现明显的先蓝移后红移的现象,总光吸收系数
学位
Mg2Ni具有很强的氢吸附能力,理论储氢含量大,利用电化学储氢方式将其作为储氢材料载体,有望实现氢能的可逆循环储氢。但Mg2Ni合金的储氢动力学性能及循环稳定性较差,用于电池材料进行放电时条件苛刻,限制了其实际应用。研究发现,通过添加催化剂的方式能够改善镁基储氢材料吸放氢速度和电化学性能。因此本文在系统梳理Mg2Ni合金的储氢性能和电化学性能研究现状的基础上,采用湿法球磨添加催化剂的方法将G(石墨
学位
近年来移动通信快速发展,为了满足日益增长的用户数量、更高的数据传输速率和更加严格的服务质量的需求,无蜂窝大规模MIMO作为一项新的解决方案应运而生。以用户为中心的无蜂窝大规模MIMO取消了传统蜂窝以及蜂窝边缘的概念,在区域内部署远多于用户数量的接入点联合服务于用户,能够在减少用户间干扰的同时为用户提供较为一致的高效服务。但是,由于接入点数量较多,多接入点协作以及单接入点服务多个用户时,如何选择合适
学位
深入认识冻土在复杂应力条件下的力学行为是冻土工程设计和建设的重要依据。本文以冻结根河粉质黏土为研究对象,通过不同加载条件的力学试验,研究其力学行为;根据实测的热耗散能与应变比能数据,从能量演化的角度研究了冻土力学行为的内在机理。最后根据力学试验获取的冻结根河粉质黏土的力学特性,应用热力学理论构建了冻结粉质黏土的热力学本构模型并进行了验证。主要研究结论与成果如下:(1)通过不同应力路径的三轴单调和加
学位
采场结构参数的优化选择对采矿的安全生产和经济效益有着重要意义。以云南香格里拉某铜矿为背景,结合矿山采用的分段空场嗣后充填采矿法,根据矿山岩体力学参数、充填体力学参数以及采场的布置特征,运用FLAC3D软件建立采场模型,通过正交设计试验设计了16种不同的采场结构参数方案,对所有采场方案进行稳定性分析,并用建立FAHP-CRITIC法组合赋权的综合评价模型进行优选,得到最优采场结构参数尺寸及最佳充填配
期刊
太赫兹频段的通信由于其具有巨大的带宽和提供超高传播速率的优点,被认为是未来6G无线系统中的关键技术,并且受到学术界越来越多的关注。为了克服严重的路径损耗衰落,缓解高功率消耗,采用混合预编码技术的太赫兹大规模多输入多输出(Multiple-input Multiple-output,MIMO)系统已被广泛考虑应用于太赫兹通信中。然而,在太赫兹大规模MIMO系统中,由于太赫兹大规模MIMO系统的带宽更
学位
语篇阅读加工是读者不断建构和更新语篇情境模型的动态过程。语篇阅读加工过程中,因果情境模型的建构与更新有助于阐明语篇内部之间的概念联系,对读者叙事语篇阅读理解至关重要。发展性阅读障碍(Developmental Dyslexia,DD)是一种神经发育障碍,其最为典型的特征为字词解码困难。DD儿童低效率的词汇解码加工占用更多认知资源,可能影响其高层次水平的阅读理解加工。在国家倡导“全民阅读”的背景下,
学位
毫米波大规模多输入多输出(Multiple input multiple output,MIMO)架构和非正交多址(Non-Orthogonal Multiple Access,NOMA)技术的结合被认为是满足不断增长的数据速率需求的解决方案。考虑毫米波MIMO-NOMA系统的下行链路,其中基站(Base station,BS)配备有大规模天线阵列,该天线阵列使用混合预编码来减少所需的射频(Rad
学位
以高峰山矿体为研究对象,在工程地质调查、岩体物理力学试验分析的基础上,根据矿体赋存形态和开采现状,采用Mathews稳定性图解法分析得出,采场的稳定与矿体倾角的变化有关,当采场暴露面积为760~1440 m~2时,采场处于极限稳定状态。采用FLAC3D数值模拟软件进行模拟分析,对于不同倾角的矿体,考虑不同的跨度方案,从而确定了合理的采场结构参数,使围岩的应力、应变分布趋于均匀化,减少了矿山地质灾害
期刊
油气管道在服役过程中不可避免会发生塑性变形,造成塑性损伤的实质是管道在变形过程中的微观结构变化。考虑到服役环境的限制,为了定量表征材料微观结构的变化,本文开发了一种基于神经网络的超声检测技术。以B+F双相X80管线钢为研究对象,通过检测实验和神经网络建模,本文研究了不同拉伸变形量试样的微观结构的超声表征可行性。本文的主要工作如下:(1)对不同拉伸变形量的试样进行超声纵波检测和金相观测,采集回波信号
学位