联合深度学习隐私保护技术研究与实现

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:markwolf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为适应复杂数据环境下的社会发展需求,以提取信息为核心的数据驱动型应用成为新兴产业。与此同时,社会自上而下对于个人隐私保护的意识越来越强,相关法律法规对于用户数据的使用限制也越来越严格,这使得基于大规模数据的深度学习方法必须考虑数据可用性及隐私性的平衡。为解决这一问题,基于分布式数据环境的联合深度学习框架成为了新的研究重点。该框架避免隐私数据的明文搜集以及高复杂度的密文处理过程,允许数据持有者在本地完成模型训练并借由参数服务器完成更新聚合。但最新研究表明,现有联合深度学习框架仍面临着严重的隐私泄漏问题,该框架被证明容易受到对抗生成网络(GAN)攻击的影响,特别地,将现有的联合深度学习框架拓展到用户并行训练的场景下仍面临着GAN攻击的威胁。因此,如何在多用户串行及并行两种训练模式下,设计可抵御GAN攻击的隐私保护联合深度学习方案成了亟待解决的问题。本文在对现阶段联合深度学习隐私保护现状调研分析的基础上,针对性地作了以下研究:(1)针对现有联合深度学习框架无法抵御GAN攻击的隐私问题,本文利用矩阵盲化技术,设计了一种新型深度学习模型参数更新方法——模型保护随机梯度下降法,并基于此方法构建了串行模式下的隐私保护联合深度学习框架。通过引入盲化技术破坏GAN攻击者本地生成对抗网络的构建及更新过程,我们的框架实现了对GAN攻击的抵御。同时,本文通过引入用户分类及预训练过程,强化了联合深度学习模型初始化过程,提高了模型的鲁棒性和训练效率。理论分析与实验结果表明,我们的框架可满足更高的隐私保护要求,且保持了原始框架的训练效率及模型准确率优势。(2)针对现有框架拓展至多用户并行训练场景下仍面临GAN攻击威胁的问题,本文评估了并行训练模式下的隐私泄露风险。通过结合并行随机梯度下降及矩阵盲化技术,本文设计了一种并行化模型保护随机梯度下降法。基于此方法,我们构建了并行模式下的隐私保护联合深度学习框架。同时,为应对多用户动态训练场景,我们引入了用户动态应对策略及参数聚合权值调整策略。理论分析与实验结果表明,拓展后的框架可应对更为复杂的并行化训练场景,且实现了训练数据隐私及系统模型隐私的保护。(3)针对联合深度学习实例,本文依托用户分类、模型预训练、矩阵盲化、并行化随机梯度下降等关键技术与两种模式下的隐私保护联合学习方案,以Tensorflow框架为基础,利用Flask服务器框架以及Keras科学计算框架设计并实现了隐私保护联合深度学习系统,本系统支持两种训练模式下多种数据集的联合深度学习实例任务,进一步可为国内外蓬勃发展的分布式数据处理建设提供技术支持和保障。
其他文献
在结构化环境下,传统AGV小车能够应对大多数场景,实现物品自动化运输。而在酒店、办公楼等相对非结构化环境下,物品自动化运输需要机器人具备更强的自主移动能力。本课题针对这一应用场景,对一种用于室内环境下的自主运输机器人进行控制系统设计与实现。首先对移动机器人控制系统进行方案设计,确定控制系统包含运动控制子系统、定位导航子系统、任务执行子系统与远程监控界面四个部分,对每一部分分别进行了方案设计。之后完
金属切削工艺在机械制造业中占有特别重要的地位。传统金属切削工艺在加工制造过程中会消耗大量的资源、能源,并产生工业三废和噪声,在制造、使用、处理和排放的各个时期均会对环境造成严重污染。为此,本文开展了金属切削工艺资源环境负荷数据采集及绿色评价的研究,相关工艺绿色评价和应用验证实例可指导进行工艺的优化,对减少资源能源消耗与污染物排放、实现工艺绿色度的整体提升具有重要意义。研制了资源环境负荷数据的采集工
AGV(自动导引搬运车)是一种具有自动化、智能化等诸多优点的现代化搬运工具,被广泛应用在智能车间、仓库等领域,在提高物流搬运效率、降低人力资源成本等方面发挥着重要的作用。多AGV系统的路径规划是AGV应用中需要重点研究的内容。本文以多AGV系统的路径规划与动态避障为主要研究内容,主要做了以下工作:一、针对单AGV路径规划的问题,结合AGV的导航方式,基于栅格地图构建法,对A*算法和Dijikstr
近年来,随着学科交叉的发展,立体匹配理论的研究逐渐丰富。然而医学图像普遍存在噪声多、结构复杂和数据采集困难等特点,传统的双目匹配技术难以获得准确的匹配结果。此外,准确的标签数据获取困难,制约着监督式的训练。针对以上问题,本文将自监督方法引入医学图像立体匹配,利用深度学习来提高匹配精度。主要研究工作如下:(1)针对标签数据难获取的问题,提出了一种自监督图像立体匹配模型SDMNet(Self-supe
驾驶机器人是一种用来替代人类驾驶员实现自动驾驶功能的机器人。由于无需对车辆进行重大改装,驾驶机器人就可以将普通车辆转变为自动驾驶车辆,因此其相关技术可广泛应用于汽车试验、自动驾驶汽车等领域。本文在课题组对驾驶机器人操纵机构结构设计的基础上,针对驾驶机器人操纵机构的性能分析及参数多目标智能优化等方面内容进行了研究。首先,分析了驾驶机器人操纵机构的组成和工作原理。根据驾驶机器人各操纵机构的结构特点,建
双电动缸同步伺服系统具有体积小、大负载、控制精度高、便于布局、响应速度快、便于维修等众多优点,因此在国防装备、航空航天和民用重工业等领域都有广泛的应用。但双电动缸同步伺服系统是一个复杂的非线性系统,它的非线性特性和模型不确定性直接影响着伺服系统控制性能,本文针对双电动缸同步伺服系统中存在的耦合扰动、参数不确定性、时变扰动和死区非线性等问题,展开了以下几个方面的研究工作:(1)介绍了双电动缸同步伺服
在生命活动过程中,蛋白质和配体之间的互相作用是普遍存在并极为重要的。准确定位蛋白质和配体之间的相互作用位点,对于理解蛋白质的功能、药物设计等有着重要的价值。其中,三磷酸腺苷(Adenosine-5’-triphosphate,ATP)是一种重要的配体。ATP可以通过水解断裂高能磷酸键来为生命体提供能量,是生命体中最直接的能量来源。通过湿实验的方法来确定蛋白质与配体的相互作用及绑定位点,存在着成本高
无线传感网络技术集成了多门学科知识,凭借着其应用范围广泛、节点体积小、能耗低、能够部署在复杂环境中等优点,成为了目前热门的研究领域。随着物联网的兴起,使得无线传感网络技术发展更加迅速,部署更加广泛。尤其是ISM频段下多种无线传感网络协议栈的部署,使得该频段越来越拥挤,信号干扰问题十分严重。因此,如何解决ISM频段下的无线传感网络抗干扰问题正在成为研究的重点。本文从实际背景出发,旨在研究ISM频段下
本文研究的移动机器人属于一种服务机器人,任务理解是用于服务机器人的一项关键技术。任务理解就是实现将用户自然语言表达的任务转化为机器人可以执行的原子动作的过程,它包含了两个方面,第一是人机交互,第二是任务规划。本文重点研究人机交互过程,该过程的困难主要表现在语言理解上。语言理解首先要解决指令解析的问题。目前解决机器人指令解析问题的方法或者依赖于人工编制的规则库,不具有学习和预测能力,或者依赖于相当数
滚珠丝杠副作为现代工业母机——数控机床的核心部件,其状态识别方法的优劣一定程度上影响着数控机床的精度与可靠性。本文以国家重大科技专项为依托,对滚珠丝杠副状态优化识别方法开展理论与试验研究,重点研究振动信号多域特征提取方法及状态识别优化组合,通过试验数据与训练模型进一步验证状态识别策略,从而为实现滚珠丝杠副在线监测与健康预警奠定基础。研究滚珠丝杠副状态识别优化策略的根本在于:首先要明确各类特征状态及