基于差分隐私的隐私保护联邦学习方案研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:dadiguilai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工智能技术发展迅猛,已被广泛应用于各个领域,例如个性化推荐系统、自动语音识别以及计算机视觉等。这些技术的成功都是建立在大量的数据基础之上的,但是随着社会的不断发展以及人工智能应用的落地,人们对数据隐私的重视程度越来越高,数据共享不再那么容易,人工智能的发展面临着一定的挑战。联邦学习的出现打破了数据壁垒,使得多方能够在一定安全的条件下进行数据的共享。不幸的是,传统的联邦学习并不能完全保护参与方的隐私,因此研究安全的联邦学习变得越来越重要。目前联邦学习中的隐私保护研究面临的挑战主要有:一是基于加密技术实现的联邦学习方案会造成繁重的计算和通信开销。二是一些基于差分隐私实现的联邦学习方案对模型的准确率影响太大,实用性不高。更重要的是,多数基于本地差分隐私实现的联邦学习方案未能考虑到各参与方个性化的隐私保护需求。本文致力于上述面临的挑战,对联邦学习中的差分隐私保护做了如下研究工作。1.提出了一种基于本地差分隐私的边缘联邦学习方案。在现有的基于本地差分隐私的联邦学习方案中,存在的主要问题是通信开销大以及模型准确率不高。而在本方案中,我们首先在传统联邦学习架构的基础上引入边缘节点,通过利用边缘节点的计算和存储能力加速模型的收敛速度,以及减少参与方与服务器之间的通信轮数,从而有效降低系统的通信开销。其次在本地参数更新阶段,我们根据权重参数对神经网络的贡献大小,设计指数筛选机制进行安全参数选择。一方面能够减少上传的参数量,另一方面能够避免本地差分隐私扰动算法隐私预算增长太快的问题。除此之外,我们提出新的数据扰动算法对将要上传的参数进行扰动,相比于其它扰动算法,我们的算法具有更小的方差,从而能够改善模型的准确率。最后,通过隐私分析和实验评估表明,我们的方案在隐私保护的前提下高效且实用。2.提出了一种基于个性化本地差分隐私的联邦学习方案。在现有的基于本地差分隐私的联邦学习方案中,另一个重要的问题是方案未能考虑到各参与方的个性化隐私保护需求,导致有的参与方隐私保护不足,而有的参与方隐私保护过度。而在本方案中,我们从本地参与方差异化的隐私保护需求出发,避免了所有参与方设置相同隐私预算的问题,提出了一个满足个性化本地差分隐私的扰动算法。该算法允许各参与方根据自己数据的敏感程度设置期望的隐私参数,使得方案在隐私保护的前提下实现了个性化的隐私保护需求。最后,我们对方案进行了严格的隐私证明,同时在合成数据集和实际数据集上对方案进行了仿真,大量的实验结果表明,我们的方案在实现个性化隐私保护需求的同时能够得到一个高质量的模型。
其他文献
分布式计算平台Spark在大数据领域迅速发展,其内存计算的特性相较于其他大数据平台,减少了磁盘读取开销,缩短了数据处理时间,在机器学习、图像处理等大规模计算应用方面具有广阔的应用前景。国内外许多企业已将Spark平台应用在实际生产环境中,如亚马逊、阿里、华为等。但Spark平台的性能方面仍需提高,Spark的任务调度机制基于同构集群的理想化设计,导致异构集群中高性能节点的硬件优势未被充分利用,从而
学位
随着信息化技术的快速发展,同类信息通过不同的呈现方式可以形成多种域的图像。这些不同域的图像信息互为补充,能够为人们的生活提供更丰富的视觉体验。因此,计算机视觉领域的研究人员对跨域图像转换算法进行了深入研究。跨域图像转换算法根据有无配对数据可分为有监督与无监督两种模式,每种方式都能够保证转换后信息的完整性,提升转换后图像的美观性。其中,基于生成对抗网络的跨域图像转换算法利用生成器与鉴别器互相博弈,最
学位
随着大数据、人工智能等科技的蓬勃发展,信息安全问题逐步成为当今社会最紧要的问题之一,国家更是出台了多项信息安全方面的要求规划,强调注重发展的同时要兼顾安全。而在各类信息安全问题中最不容忽视的就是个人信息泄露问题,攻击者会利用窃取到的用户个人信息对该用户进行攻击,导致被攻击用户在个人隐私、财产等诸多方面遭受巨大损失,因此,当前如何更好地保护和解决个人信息安全问题,成为了社会各界关注的焦点。身份认证技
学位
随着近几年智能家居行业的快速发展,越来越多的智能设备被生产并用于满足人们的个性化需求。然而,这些智能设备可能属于不同的供应商并且提供不同的功能与服务,因此很难将集中式的解决方案应用到智能家居系统中。区块链(Blockchain)技术因其不可篡改性、去中心化特性以及其他安全性方面的优势而具有解决智能家居潜在问题的可能。然而,随着终端设备数量与资源数量呈现爆发式增长,以及愈加繁复的应用场景性能需求,将
学位
随着深度神经网络的发展,深度学习在图像分类、目标检测、模式识别等领域都取得了与人类相当甚至更好的表现。然而,在现实世界中可能存在多个任务构成的数据流,神经网络并不具备在数据流中调整自身适应新任务的同时还能维持网络在旧任务上的表现的能力,因此会出现灾难性遗忘。这大大地影响了通过深度神经网络走向强人工智能的进程。因此,研究深度神经网络的持续学习算法,解决灾难性遗忘具有重要的理论意义与应用价值。现存的持
学位
蒲公英(Taraxacum mongolicum Hand.-Mazz.)作为一种药食同源植物,富含多种功能性成分,具有较高的开发价值。实验以蒲公英全草为原料,对蒲公英中醇溶及水溶性成分的提取工艺进行了研究;以蒲公英提取浓缩液为原料,研制出了风味和稳定性都较佳的蒲公英口服液,并对蒲公英口服液的抗氧化活性和抑菌活性进行了探究,以期对蒲公英的开发及综合利用提供有益的支撑。主要研究内容及结果如下:(1)
学位
高光谱成像系统将成像技术与光谱技术相结合来检测物体的空间特征,使高光谱图像可以捕捉场景的详细光谱分布。高光谱图像数据作为一个数据立方体,通常具有多个相邻的窄带,采集到的图像相比于普通RGB彩色图像包含更加丰富的信息,在诸多领域拥有巨大优势,广泛应用于许多遥感领域,包括目标检测、变化检测、分类、聚类和分割。然而光谱、空间等不同维度无法同时高分成像,这是由于高光谱成像机理的限制。在获取高光谱图像时使用
学位
当今世界,随着人工智能技术在军事指挥领域的应用,战争形态已经发生了巨大的变化。在许多场景下,特别是无人机群作战场景下,战场形势瞬息万变,传统的依赖指挥官的指挥决策方式已经完全不能满足作战指挥的要求。必须针对各种场景研究指挥官辅助决策系统,为指挥官快速提供多套可行的作战方案,供指挥官选择。论文针对无人机群对地面目标的进攻作战和防空武器部署两个作战场景,研究指挥官辅助决策系统,决策系统具有指挥官意图识
学位
在工业领域,生产设备故障甚至停机可能为工厂带来无法估量的经济损失。如果技术人员能够提前预知设备故障的发生,就可以提前拟定维修方案,减少因为故障发生带来的影响。收集生产数据并在工业物联网(Industrial Internet of Things,IIo T)的中心云端进行故障预测是目前工厂生产提质增效的有效手段。但大量生产数据的传输可能会由于网络带宽的限制产生不可预知的延迟,还会对中心云造成巨大的
学位
语义分割作为计算机视觉的基础,是预测图像不同语义类别的像素级任务,广泛应用于人机交互、自动驾驶和场景理解等领域。深度学习的使用极大提高了语义分割的性能,但一般的分割模型因卷积叠加和多尺度特征聚合导致存储成本增加和速度降低。因此,本文针对现有分割算法精度和速度难以平衡且空间占用大的问题,重点研究了应用在嵌入式平台上的语义分割算法,包括瞳孔目标分割算法和城市街景目标分割算法,具体的研究和创新内容如下:
学位