面向深度学习的差分隐私优化算法研究

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:NMGYXK110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的来临,使得基于神经网络的深度学习算法广泛地应用于生物医疗、面部识别等现实生活场景中。然而,具有不同背景知识的攻击者通过直接获取原始数据敏感信息或间接提取模型参数的方式来获取利益,甚至通过生成对抗样本的方式导致模型分类错误。深度学习所面临的隐私泄露及安全风险直接阻碍了深度学习的发展。因此,深度学习的隐私保护已逐渐成为近年的研究热点。差分隐私作为一种提供严格数学证明的隐私定义,旨在保护敏感信息不被攻击者所推断。目前,国内外学者已将差分隐私机制扩展于深度学习模型中,其主要方式是对所保护的隐私单元引入具有特定分布的噪声机制,并通过隐私预算ε来衡量模型隐私保护的程度。隐私预算ε分配越少,对隐私单元的保护力度越强。其中,最经典的差分隐私深度学习算法为差分隐私随机梯度下降法(DPSGD),该算法实现了在图像分类任务上对神经网络梯度的保护。然而,DPSGD的隐私性是建立在牺牲模型效用性的基础上的,因此提出平衡模型的隐私性与效用性的方案刻不容缓。与此同时,差分隐私深度学习模型已被证实很难抵御对抗样本的干扰,导致模型在不同的任务上无法达到预期的效果。因此,如何在保证模型隐私性的同时,提升差分隐私模型的鲁棒性也是目前值得研究的热点。本文基于DPSGD算法所存在的问题,分别设计了两种用于提升模型隐私性、效用性以及鲁棒性的解决算法,主要研究内容如下:(1)针对DPSGD模型隐私性与效用性难以平衡的问题,提出自适应切割边界的差分隐私深度学习算法(ACDP)。首先,从梯度类型、迭代次数与网络层间的角度,评估了切割边界对模型的影响,从而对不同类型梯度进行分层切割。此外,为了对梯度进行更细粒度的划分,在层间采用距离计算的方式对梯度进行分组聚合,从而使得梯度值相近的梯度为一簇,簇内梯度设置同样的切割边界。最后,基于标准差作为目标函数量化了自适应切割边界的设置,并从理论上证明了切割边界设置的合理性。(2)针对DPSGD模型鲁棒性较差的问题,提出具有鲁棒性对抗权重的差分隐私深度学习算法(Adv RGDP)。首先,采用单独梯度占比均值梯度的权重梯度提取方法,将梯度与模型输出相关性分为不同类型的梯度。随后,将强梯度输入至浅层网络中进行梯度随机化,从而增强模型参数的随机性。而偏强梯度则保持原有的梯度信息。对于弱梯度则选择丢弃,从而降低梯度与特征匹配时的复杂性。(3)对ACDP进行了隐私分析,并在四个基础数据集上分别验证了ACDP算法与Adv RGDP算法在相比于DPSGD算法,保证模型一定隐私性的同时,达到了模型效用性以及鲁棒性的提升。最后使用经典对抗攻击FGSM与FGM展示了Adv RGDP算法在抵御对抗样本干扰时的优越性。
其他文献
目的 探讨天麻对脑缺血后星形胶质细胞损伤是否具有直接保护作用及Cathepsin B-Caspase信号通路与天麻保护细胞的作用有无关联。方法 建立动物缺血性脑中风模型,缺血再灌注28 d,随机分为假手术组、模型组、天麻低剂量(50 mg/kg)组、天麻中剂量(100 mg/kg)组、天麻高剂量(150 mg/kg)组,天麻各剂量组每天给予不同剂量的天麻,假手术组给予同体积的溶剂,28 d后观察各
期刊
天麻是我国的名贵中草药,在防治阿尔茨海默病、卒中、改善记忆、延缓衰老等方面具有较好的功效。天麻素作为天麻的主要生物活性成分,自被提取鉴定以来,其药理特性得到广泛研究,尤其是在中枢神经系统疾病的研究中表现出了很好的治疗潜力。但由于脂溶性差、活性不高且容易代谢的缺点,很大程度限制了天麻素的应用。因此针对天麻素的结构进行改造优化,以开发出更优活性的衍生物。本文主要综述天麻素及各衍生物抗痴呆症的作用,并分
期刊
近年来,云计算技术发展迅速,大量云服务商为用户推出云存储服务。这些云存储服务满足了用户对跨平台多终端的文件存储、备份和共享的需求,给用户带来了较大便利。由于网络安全形势的日益严峻和人们的隐私保护意识逐渐增强,因此用户将图像等多媒数据上传到云端之前,往往对它们进行加密处理以保护隐私信息。随着云端的密文图像数量日益增多,如何对密文图像进行有效管理和应用成为云服务和信息安全领域亟待解决的问题。为此,研究
学位
地震波形信号的准确分类在地震目录的清洗、地震实时监测以及地震预警方面有着重要的意义,是地震学进一步深入研究的基础。传统地震信号分类往往通过选取有代表性的地震波形特征信息进行识别,只关注所选特征的相关信息,忽略了原记录地震波形所蕴含的更多其它信息。深度神经网络拥有自动提取特征和自学习的优点并且在许多分类问题尤其是图像分类识别上取得了显著的成功,因此可以运用深度学习挖掘地震波形所蕴含的丰富信息,根据不
学位
目的:1、探讨血小板参数在RA中的应用价值;2、探讨抗环瓜氨酸肽(CCP)抗体、类风湿因子(RF)、抗RA33抗体、C反应蛋白(CRP)、红细胞沉降率(ESR)联合检测在RA诊断中的应用价值。方法:选取2020年11月~2021年12月贵州医科大学第三附属医院风湿免疫科门诊及住院患者155例为RA组。非RA风湿病患者68例(强直性脊柱炎20例、骨关节炎17例、系统性红斑狼疮20例、干燥综合征11例
学位
学位
研究了水泥混凝土路面抗折强度的检测方法,通过对模拟水泥混凝土路面中钻取的芯样试件进行抗压、劈裂抗拉及抗折试验,获得芯样抗压、劈裂抗拉强度和水泥混凝土抗折强度。以芯样抗压、劈裂抗拉强度为自变量,水泥混凝土抗折强度为因变量,采用最小二乘法对试验数据进行回归拟合,给出相应的芯样抗压、劈裂抗拉强度推定水泥混凝路面抗折强度换算曲线(即测强曲线);同时从不同角度比较了2种方法的检测精度。结果表明:芯样抗压与水
期刊
近年来,由于信息技术的飞速发展,人工智能渐渐成为人们研究的主流方向。智能教学系统(Intelligent Tutoring Systems,ITSs)作为计算机辅助教学的一部分由于其便捷、智能等特点越来越受教学相关的从业人员的喜爱。对于传统的人工评分方法,一方面,需要耗费评分者极大的精力,给教师造成严重的工作负担;另一方面,还存在人为主观的因素影响评分质量,使得评分结果带有不公平性。渐渐地,越来越
学位
目的:探究黔产天麻通过调节脑-肠轴对蛛网膜下腔出血(SAH)大鼠的保护作用及机制。方法:选取成年雄性大鼠60只,采用血管内刺破法建立SAH模型,并随机分为假手术组、模型组、天麻低、中、高浓度组,5组分别给予相应处理1周后进行造模,24 h后取材,利用HE染色观察病理学变化,免疫组织化学染色、蛋白免疫印迹检测神经递质5-羟色胺转运体基因连锁多态区(5-HTTLPR)、降钙素基因相关肽(CGRP)、白
期刊
目的:通过观察“消疤草”对大鼠肝纤维化组织CD147表达的影响,探索“消疤草”预防大鼠肝纤维化的作用机理,为苗药“消疤草”的开发利用提供理论依据。方法:72只Wistar大鼠随机地分为正常对照组、模型组、扶正化瘀组、“消疤草”高(原液)、中(1/5原液)、低(1/10原液)剂量组共6组,每组12只。除正常对照组外,其余各组别均予40%CCl4葵花籽油液经皮下注入、腹腔注射猪血清、30%酒精灌胃(每
学位