【摘 要】
:
目前深度神经网络(Deep Neural Networks,DNN)在图像识别等领域已有广泛的应用。然而在面临对抗样本时,深度神经网络存在着脆弱性。对抗样本就是在原始数据中添加难以察觉的噪声所生成的样本,这些样本严重影响深度模型的判断能力。大量研究表明,对抗样本的存在严重威胁了深度学习系统。因此,设计有效的攻击算法不仅有助于探索深度神经网络的内部结构,找到模型中的薄弱环节,还可以将其应用于对抗防御
论文部分内容阅读
目前深度神经网络(Deep Neural Networks,DNN)在图像识别等领域已有广泛的应用。然而在面临对抗样本时,深度神经网络存在着脆弱性。对抗样本就是在原始数据中添加难以察觉的噪声所生成的样本,这些样本严重影响深度模型的判断能力。大量研究表明,对抗样本的存在严重威胁了深度学习系统。因此,设计有效的攻击算法不仅有助于探索深度神经网络的内部结构,找到模型中的薄弱环节,还可以将其应用于对抗防御,为模型训练提供指导。近年来关于对抗机器学习(Adversarial Machine Learning)的研究主要分为对抗攻击和对抗防御两个方面。但是现有的攻击方法在添加攻击噪声时都依赖一个固定的步长,且其生成的对抗样本在面对不同分类模型所表现出的鲁棒性也不甚理想。现有的对抗训练策略训练出来的模型在自然数据集上的预测精度较低,并且训练过程缓慢,训练效率低下。针对以上问题,本文提出两种攻击算法和一种防御策略。主要工作如下:(1)提出基于Nadam优化的梯度攻击符号法(Nad-FGSM)和基于Nada Max优化的梯度攻击符号法(Nad M-FGSM),这两种攻击算法可以根据模型的梯度信息,灵活地调整攻击噪声的方向和步长,弥补了固定步长的缺点。将模型集成策略与攻击算法相结合,在生成对抗样本时,考虑融合多个模型的梯度信息,进一步提高对抗样本的攻击成功率。采用可视化攻击算法的迭代轨迹和模型梯度轮廓来分析迭代攻击过程,进一步解释深度神经网络在面对可变步长对抗样本的脆弱性的原因。在Image Net数据集上进行实验,结果表明两种算法在单模型攻击和集成模型攻击中均保持了较高的攻击成功率。(2)将早停思想和Nad M-FGSM相结合,提出ES-Nad M-FGSM(Early Stop Nad M-FGSM)对抗样本生成策略,并将该策略应用于对抗训练当中,形成早停对抗训练策略(Early Stop Adversarial Training,ESAT)。在CIFAR-10数据集上进行了测试,实验结果表明,该策略能够缓解对抗样本产生的数据混合问题,采用ESAT策略训练的模型在自然数据集上均取得最好的预测精度,并且在面对对抗算法攻击时,模型依然保持了较高的鲁棒性。实验结果还显示,ESAT策略能够减少对抗训练中反向传播次数,提高模型的训练效率。
其他文献
环己酮生产工艺需要消耗大量不同品位的蒸汽,文中对环己酮生产工艺中的蒸汽系统做了简单介绍,对MVR热泵和化学热泵2种技术在蒸汽系统中的应用进行了对比。结果表明:采用MVR热泵技术副产0.3 MPa(G)蒸汽11t/h,采用化学热泵技术副产0.3 MPa(G)蒸汽7.5t/h, MVR热泵的蒸汽副产量提高了46.7%;MVR热泵投资额为1 050万元,内部收益率54.4%,投资回收期1.84 a;化学
目的:超声心动图是评估左室舒张功能不全(left ventricular diastolic dysfunction,LVDD)重要诊断依据,但目前临床上仍有一部分患者舒张功能不全诊断困难,尚缺乏一种准确评估左室舒张功能不全的方法。有创左心导管测量的左室舒张末压(left ventricular end-diastolic pressure,LVEDP)为评估左室舒张功能的“金标准”,本研究通过左
目的:通过比较Dual刀与IT刀在表浅食管癌及癌前病变内镜黏膜下剥离术(endoscopicsubmucosaldissection,ESD)中的手术时间、切除速度、治愈性切除率以及出血、穿孔、狭窄等并发症发生率的差异,研究Dual刀与IT刀在表浅食管癌及癌前病变ESD中应用的有效性及安全性。方法:入组2017年9月-2020年2月期间就诊于常州市金坛区人民医院消化内科,治疗表浅食管癌及癌前病变采
土壤数字制图(DSM)作为计算机与地理信息技术在土壤科学的交叉研究领域,正在深刻改变科学家制作土壤图的方式,从而为资源与环境系统模拟提供了更为精细的基础资料。然而,目前常用的地理统计模型和机器学习的制图方法仅使用土壤采样点观测值与对应协变量进行空间建模与制图,难以考虑采样点周围协变量及其上下文信息,从而限制了数字土壤制图精度的进一步提高。近年来,深度学习中卷积神经网络通过卷积与池化可以充分利用采样
由于医疗资源分布不平衡,发达地区大医院医疗水平要强于不发达地区的医院,所以在不同的医院之间共享电子病历是提高医疗服务水平的有效途径。现有的使用区块链和基于属性的加密算法共享电子病历和控制电子病历共享细粒度的研究中,由于基于属性的加密算法需要可信第三方来生成密钥,所以可信第三方有能力解密所有的电子病历,无法保障电子病历的机密性;同时,区块链的匿名性让电子病历的真实性得不到保障;另外,在使用智能合约对
命名实体识别是自然语言处理领域的基础任务之一,是信息抽取、机器翻译、智能问答、语义分析等下游任务实现的前提,在自然语言处理技术走向全面化应用的过程中占有重要地位。目前命名实体识别对象可分为嵌套命名实体和非嵌套命名实体,基于深度学习的命名实体识别方法主要针对非嵌套命名实体识别展开研究,忽略了嵌套命名实体中蕴含的语义关系和结构信息,因此如何准确地识别嵌套命名实体亟待更深入地研究;对非嵌套命名实体识别的
移动通信设备的快速发展,极大的推进了社会信息化的进程的同时,也受到了许多恶意软件设计者的关注。尽管大量的研究人员对Android恶意软件检测技术的研究越发深入,有效遏制了恶意软件数量的快速增长,但360安全大脑仅在2019年就检测到高达1,809,000个新的恶意软件,移动安全威胁仍然严峻。针对于以上所提到的移动安全威胁,本文首先对目前所存在的Android恶意软件进行了大量的分析,总结出常见的恶
伴随着我国经济的快速发展,大量农村人口流入城市,形成具有中国特色的城市化现象。在中国城市化过程中,外来务工人员群体为中国城市化建设和发展做出了卓越贡献。在农村剩余劳动力进入城市务工过程中,大量务工人员随迁子女也进入到城市中接受教育。然而大量随迁子女在教育融入过程中陷入困境,引起社会工作者的关注。本文的研究对象为外来务工人员随迁子女,围绕“个案社会工作介入务工人员随迁子女教育融入问题”这一核心主题,
综述了芳烃联合装置低温热利用技术,包括直接利用即与装置内工艺物料换热,以及采用热载体换热后外送、发电、热泵回收等间接利用的方案。结合甲、乙两个芳烃联合装置各自的背景特点,采用发生低品位蒸汽以回收蒸馏塔顶冷凝热,并使用蒸汽热泵将低品位蒸汽压缩至目标压力的方案,匹配了装置内、外的蒸汽需求,使得装置低温热得到高效回收。甲、乙装置的能耗分别降低了108.0,89.6 kgEo/t对二甲苯。该方案由于使用蒸