支持隐私保护的深度学习方法研究

来源 :陕西师范大学 | 被引量 : 0次 | 上传用户:dong0003060
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,利用海量数据支撑各类决策已经成为普遍现象,而深度学习因其端到端学习,同时能够实现较高任务精度等优点而受到广泛关注。在深度学习快速发展的同时,一系列隐私保护问题突出,从个人数据非法共享,到攻击者利用公开模型及其参数反向推断出训练数据,隐私泄露严重。因此,研究一种既能保护数据隐私,又能保证较高可用性的深度学习方法具有重要意义。差分隐私是一种基于扰动思想的隐私保护技术,将其应用于深度学习中,使得攻击者只能推断出扰动后的数据,实现了隐私保护的目的,同时适量的扰动不会显著降低数据效用。本文针对深度学习的图像生成问题和非欧空间数据的学习问题,结合差分隐私技术进行研究。本文的主要工作如下:(1)考虑到训练数据可能存在的隐私泄露风险,结合差分隐私技术研究支持隐私保护的深度学习方法。其中针对图像生成问题,研究基于梯度裁剪扰动的多生成器生成对抗网络,针对图数据节点的半监督分类问题,研究基于函数机制的图卷积神经网络。在保护训练数据隐私的前提下,保证上述模型都具有较高的数据可用性。(2)提出基于梯度裁剪扰动的多生成器生成对抗网络DP-MWGAN以解决隐私保护图像生成问题。首先采用多生成器架构、参数共享方式,用EM距离作为损失内容构建多生成器生成对抗网络MWGAN。其次考虑到训练数据的隐私保护问题,设计基于差分隐私技术的扰动方案,该方案包括自适应梯度裁剪阈值确定、梯度裁剪和高斯噪声扰动三个步骤。将该扰动方案应用于多生成器生成对抗网络的训练步骤中,最终得到一个能够执行图像生成任务同时支持隐私保护的生成对抗网络DP-MWGAN。最后在CIFAR-10图像数据集上的实验结果表明,改进的MWGAN模型相比于WGAN和WGAN-GP,在Inception Score和EM距离的综合结果上更具优势,同时DP-MWGAN模型能够在保护训练数据隐私的同时,不会显著降低IS分数,保证较高的原始图像相似度。(3)提出基于函数机制的图卷积神经网络DP-IGCN解决图中节点半监督分类任务。首先借鉴传统CNN模型使用全连接层学习高层特征的思想,提出改进模型IGCN,添加全连接层用于提取图数据的高层特征。其次考虑到训练数据的隐私保护问题,设计基于函数机制的扰动方案,通过泰勒分解公式导出损失函数的近似多项式表示,并为多项式系数添加拉普拉斯噪声进行随机扰动。将扰动的损失函数应用于模型的训练过程,最终得到一个能够执行图节点分类任务同时支持隐私保护的图卷积神经网络DP-IGCN。最后在Cora、Citeseer、Pubmed三个数据集上的实验结果表明,改进的IGCN模型相对于原始模型,具有更高的图节点分类准确率,同时增加扰动步骤的DP-IGCN能够在保护训练数据隐私的同时,保证较好的图节点分类准确率。
其他文献
近年来,受高密度磁存储和高速信息处理需求的驱动,亚皮秒范围内纳米尺度器件的光驱动自旋动力学已经成为当下比较热门的课题之一。由于过渡金属氧化物团簇在催化、电子、磁性材料等领域具有巨大的应用潜力,在近几十年的实验和理论研究中受到了广泛的关注。因此本文选择三磁中心氧化物团簇,采用第一性原理方法对其几何构型、红外光谱和多体电子结构性质进行研究,并探索了这些团簇的磁各项异性以及可能实现的激光诱导的超快自旋动
高血压近年来对人体健康威胁性极大,高血压的致残性和死亡率主要是由其并发症引起的,其中一大类就是心血管疾病。高血压患者按照发生心血管事件的可能性又大致分为高危受试者和低危受试者。近年来,国内外学者对高血压大量临床案例进行总结,逐渐认为对高血压心血管事件进行风险分层是非常重要的。心血管系统呈现出复杂的变异性,即心率变异性(heart rate variability,HRV)。研究心率变异性信号可以有
随着光学及光学镀膜技术的发展,光学薄膜广泛应用于国防、通信、激光、能源、医疗等各领域。半导体可饱和吸收镜(SESAM)、石墨烯、碳纳米管、黑磷、拓扑绝缘体、过渡金属硫化物等作为主要的被动锁模器件被广泛应用于脉冲激光器中,但是这些吸收体存在损伤阈值低,透光率低等一些问题还未被解决。基于此,本文在SESAM上分别镀制高反膜和减反膜,以获取不同性能的SESAM器件并在石墨烯可饱和吸收体上镀减反膜。具体内
随着时代的发展,概率与统计知识越来越重要,概率与统计在《普通高中数学课程标准(2017年版)》中成为与函数,几何与代数、数学建模活动与探究活动并列的四大主线之一。在2018年8月教育部发布的《教育部关于做好普通高中新课程新教材实施工作的指导意见》中要求到2022年秋季,全国各省市均已使用新教材。目前,新课程理念指导下的高中数学人教A版新教材已出版。在新教材中,概率与统计发生了较大的变化,比如课程理
表面等离激元因其具有丰富的光学特性而受到广大研究者的关注。表面等离激元可以分为两种类型:一种是受金属纳米结构的限制只能局限于金属纳米粒子的表面,称为局域表面等离激元(LSPs)。另一种是沿金属与介质界面传播的表面等离极化激元(SPPs)。局域表面等离激元是在三维条件下经外场激发,通过改变纳米结构的尺寸,形貌和光的偏振方向使得贵金属纳米粒子产生许多独特的光学特性,如等离激元波导、表面增强拉曼散射、电
在移动通信系统的发展历程中,系统标准和核心技术的更迭与人们对于通信业务的需求变化密不可分。移动互联网和物联网应用的蓬勃发展对第五代移动通信系统(5G)提出了更高频谱效率、更大规模设备接入及更低时延的新要求。前四代移动通信系统中的多址接入技术已不能满足5G发展的需求。因此需要研究新的资源复用与多址接入协议来满足未来通信发展的需要。在面向5G的研究中,非正交多址接入(Non-Orthogonal Mu
气体绝缘全封闭组合电器(Gas Insulated Switchgear,GIS)是电力系统的核心设备之一,该设备采用SF6气体而不使用大气压下的空气作为绝缘介质,是一种金属全封闭的开关设备。该设备起着保护和控制电路的作用,变电站的其他设备均受到其控制和保护,因此它是电力系统正常运转的重要保障。据统计数据显示,GIS的机械故障占所有故障类型的39%左右,是最为常见的一种故障类型。当该设备产生故障后
为了解决人类社会不断增长的能源需求与日益严重的环境污染之间的矛盾,人们把目光转向燃料电池等新兴能源。燃料电池是一种将燃料所含的化学能直接转换成电能的发电装置。区别于传统热机,其能量转换过程不受“卡诺循环”的影响,转换效率高。然而,燃料电池却并没有像热机一样得到广泛的应用。制约其商业化发展的原因主要有两条:一是高昂的制造成本、二是使用寿命。其中,它的高昂制造成本主要归因于需要用到贵金属Pt作为催化剂
激光作为人类历史上的一大重要科学发明,划时代地改变了人类社会的各行各业,不可不谓为二十世纪最伟大的科学发明之一。自从1917年爱因斯坦于理论上提出受激辐射的概念后,在1960年,美国科学家西奥多·哈罗德·梅曼便根据微波激射器的启发制成了世界上第一台激光器,一台红宝石激光器。世界上第一台激光器诞生距今已有60年,在这60年间,激光器的发展日新月异,目前在科学研究、工业生产、医疗卫生、测距通信和军事应
近年来,随着移动通信的迅猛发展和5G时代的来临,人们对微波器件的小型化提出了更高的要求,迫切需要开发出更多具有低损耗(Q×f>5000 GHz)、中高介电常数(εr>20)和近零谐振频率温度系数(τf≈0 ppm/℃)的微波介质陶瓷材料。本论文围绕钽酸盐系列陶瓷,利用传统固相反应法,开发了两种性能良好的新型钽酸盐微波介质陶瓷,并通过两相复合和离子取代的方法对其微波介电性能进行改性研究,获得了一些有