基于快速梯度的对抗攻击样本生成算法研究

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:legna1212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习算法的效果变得越来越好,许多学者开始着眼于深度学习算法的稳定性。其中的一个方向叫对抗样本。对抗样本是指在原始数据上添加一个特定的噪声(噪声的比例越小越好,能被模型识别而不被人眼察觉)使得损失函数最大化,所形成的输入样本,会导致模型以大概率给出一个错误的结果。对抗样本的生成又被称为对抗攻击。现如今,深度神经网络已经成为了人们生活中不可或缺的一部分,人脸识别、语音转文字等都是日常生活中经常用到的功能。不仅如此,在金融、互联网领域,深度神经网络更是拓展科技前沿的一大利器。但是,目前对于深度神经网络的稳定性的研究尚处于初步阶段,业界对于对抗样本的防御手段还很有限。因此,研究更加高效的对抗样本生成方法,可以帮助业界发现深度神经网络的弱点,从而加快对抗防御技术的发展,提高深度神经网络的稳定性。快速梯度符号算法是一种基于梯度的特定扰动对抗样本生成算法,是目前主流的对抗样本生成算法框架之一。之前的基于快速梯度符号算法的一些方法主要是将过去的梯度优化方法与基础的快速梯度符号算法相结合,使用的梯度优化方法时间上较为久远。同时,之前的算法存在泛化能力较差的问题,当使用不同类型的数据集时,攻击效果往往难以令人满意。近几年有许多的学者在梯度优化领域提出了不同的算法。这些算法在对抗样本生成领域或许同样有所成效。梯度中心化就是其中之一。梯度中心化指的是在神经网络训练的过程中,计算目标函数对权重梯度时,对梯度进行中心化处理。梯度中心化具有两个数学性质:权重空间规范化与输出空间规范化。可见,梯度中心化算法在实现简单的同时具有很好的理论证明。在这一背景下,本文提出了基于梯度中心化的快速梯度符号算法,以提高对抗样本的攻击效率。简单来说,就是在现有的Nesterov迭代快速梯度符号算法中,在每一次迭代计算损失函数对原始图像的梯度前,对原始图像进行随机的数据增强,然后将梯度参照梯度中心化算法中损失函数对权重的梯度,在计算梯度后进行中心化处理。与现有的生成对抗样本的算法相比,本文提出的算法可以提高生成的对抗样本的攻击成功率与在不同数据集上的稳定性。本文使用ILSVRC2012数据集的验证集中的10000张图像进行实验分析。首先对算法涉及到的三个超参数进行实验分析,选择最优的超参数组合。通过结果比较,选择的超参数为最大扰动?=0.05,惯性系数?=1.8,迭代次数T=2。之后进行对比试验。将数据集分为10组,生成对抗样本的模型选择Res Net-50、Google Net、Dense Net-121三种,攻击目标模型选择Res Net-50、Google Net、Dense Net-121、Dense Net-161四种,共进行12组对比实验。对10组数据求平均值与标准差。从平均值上看,本文提出的算法的表现在12组当中的9组超过了现有的算法。从标准差上看,本文提出的算法的表现在12组当中的8组超过了现有的算法。实验比较完整地对比了本文所提出的算法与现有算法,展示了在不同的图像数据集上,这些算法在生成对抗样本任务上的差异。结果表明本文的算法在大部分的实验中相较于现有的算法都有着更好的表现。同时从标准差的角度也说明了本文的算法相较于现有的算法有着更好的稳定性。实验结果表明,梯度中心化方法可以提升对抗样本的攻击能力,且与现有方法相兼容。
其他文献
基于TIA15.1中的S7-PLCSIM功能,结合生活中常见的十字路口交通灯现场控制需求,设计了使用MCGS触摸屏和西门子S7-1200组合的工控系统。考虑了工控系统开发前期无实物PLC和触摸屏的场景问题,利用NetToPLCsim搭建起S7-PLCSIM与MCGS的虚拟仿真架构。调试结果显示,该方法稳定可靠,能够为S7-1200PLC与MCGS触摸屏早期联合开发项目提供高效的虚拟仿真技术支持,更
期刊
机器自动解答初等数学算术题具有非常大的挑战性,主要是人类理解数学问题的思维与机器可理解的逻辑表示之间存在很大的语义差距。尽管20世纪60年代就开始了机器解答算术题方面的研究,但其研究结果和人们的预期期望还是存在着很大的差距。以往的研究方法需要过多的人为规则和人工干预,并且应用场景单一,往往只能解决研究者预先设定好的场景下的算术题。近年来,基于深度学习的数学算术题机器解答的研究,又重新获得了很大的发
学位
初中阶段作为毕生发展的一个关键阶段,承担着个体由童年期逐步向成年期发展的过渡作用,青少年期的初中生在生理及认知发展和社会性等方面都会产生巨大的变化。环境和社会适应的好坏会对包括同伴关系、学业成绩、自我认同等在内的整个青少年期的生活与学习产生影响,处理人际关系等社会问题的能力对个体而言显得尤为重要。社会创造性是在社会领域表现出的创造性,体现在个体的日常社会活动和人际交往中,其重要性不言而喻。因此,本
学位
机关事务管理工作高质量推进是我们国家当前焦点工作之一,稳步推进机关事务管理法治化是治理模式迎合新时代、促进机关高效发展的新要求。依法行政有效深化、加快法治政府建设也能从机关事务管理法治化进程中集中体现,机关事务管理法治化是稳步推进依法治国具有实践意义的重要举措。2020年底,中共中央发布的《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》与《法治中国建设规划(2020—2
学位
在金融市场定价理论中,资本资产定价模型(CAPM)一直都是起主导作用的资产价格文献。风险与预期收益之间的权衡一直都是金融学中最受关注的问题,近几十年来,左尾风险是否在确定预期回报的横截面方面发挥特殊作用的问题也一直受到金融经济学家的关注。风险规避的投资者要求以更高的预期回报的形式获得更高的报酬,以持有风险更高的金融证券。转换到左尾风险框架,在对预期收益相关高阶矩变量分布不了解的情况下,具有较高左尾
学位
近年来,中国地方政府债务迅速增长,政府债务在补缺口、强基建和促发展等方面发挥了积极的作用,但由于规模增长快,债务风险不断累积,且越来越突出,已成为我国经济可能的“灰犀牛”。与此同时,地方政府债务扩张所产生的巨额资金需求可能会通过金融市场的传导影响公司部门的融资需求。全社会的资金资源在整体上是有限的,当地方政府的融资需求大幅上升以及地方政府的信用较好,银行会偏向选择地方政府,一定程度上挤占原本属于公
学位
代谢组学是生物流体或组织中低分子量代谢物动态变化的量度。代谢组学研究的基本策略为基于高通量分析技术量测的高维数据的获得和基于化学计量学方法的代谢组学数据解析。此类数据通常具有小样本、高维、高噪和易含奇异样本的特性。化学计量学在代谢组学数据解析中的两项主要任务为识别各组之间的代谢差异(即模式识别)并筛选出表征各组之间代谢差异的潜在的重要生物标志物(即变量选择)。近年来,分析技术平台的不断发展导致生成
学位
在金融市场中,波动率不仅是衡量风险的指标,它对衍生品定价和资产配置都至关重要,因而对于波动率的研究一直是金融研究领域当中的较为热门话题。在对波动率的研究上,一些学者采用了文本情感分析的方法,通过词频统计模型探究与波动率的关系。然而,词频统计模型因其无法联系上下语义的局限性,语义捕捉能力较差,降低对波动率的解释效力。此外,而在对波动率预测的研究上,之前的研究集中在对低频收益率数据拟合而成的GARCH
学位
在语言学的定义里,新词是指一个最近铸造的发明词或者词组,可能来源于新事物的产生、方言的吸收、简略词汇、外来语等。当今互联网时代下,大量的中文新词会在不同背景的碰撞下产生并借助网络的力量迅速传播开来。由于中文里没有明显的界限符,所以在英文中不存在的分词问题在中文里却是很重要的一步。未登录词是影响分词准确率的重要因素,新的未登录词及其变体层出不穷,依靠人力去构建词库费时费力,因而使用某些方法让计算机自
学位
在中央经济工作会议提出的“六稳”方针中,“稳金融”的底线是要求不发生系统性金融风险,并稳步推动金融市场的发展。商业银行作为核心金融机构,其信贷风险管理质量对金融市场的稳定有重大影响,特别是随着近年来中小企业的快速发展及其伴随而来的银行信贷资源需求与日俱增,中小企业的信贷风险管理逐渐成为商业银行信贷风险管理之重点。信贷风险评价体系作为商业银行信贷风险管理的基础性环节,直接关系到信贷风险管理质量。商业
学位