【摘 要】
:
深度神经网络(Deep Neural Network,DNN)作为人工智能最杰出的代表,被广泛应用于各个领域。然而,近期研究表明,高精度DNN模型极易受到对抗样本的攻击。对抗样本是人为经过特定对抗攻击算法所生成的恶意攻击样本,能在不影响人类正常视觉辨别的同时,使DNN模型产生高置信度的预测错误或分类错误。对抗样本揭露了DNN易被攻击的特性,是DNN巨大的安全漏洞。因而提升DNN对对抗样本的防御能力
论文部分内容阅读
深度神经网络(Deep Neural Network,DNN)作为人工智能最杰出的代表,被广泛应用于各个领域。然而,近期研究表明,高精度DNN模型极易受到对抗样本的攻击。对抗样本是人为经过特定对抗攻击算法所生成的恶意攻击样本,能在不影响人类正常视觉辨别的同时,使DNN模型产生高置信度的预测错误或分类错误。对抗样本揭露了DNN易被攻击的特性,是DNN巨大的安全漏洞。因而提升DNN对对抗样本的防御能力,有利于提高DNN的鲁棒性,对DNN的后续应用和研究具有重大意义。本文从对抗样本的成因、对抗样本检测以及对抗训练等方面,针对如何提高DNN模型的对抗鲁棒性这一问题进行探讨,具体研究内容如下:(1)提出陷阱式集成对抗防御网络Trap-Net。首先从模型的特征空间角度出发,提出可攻击空间对抗成因假说。该假说以目标数据流形为中心,设特征空间可分为不相交的两个空间区域,其中一部分是目标数据流形所占据的特征空间,另外一部分是未被训练集标注的,可能暗藏对抗样本的可攻击空间。Trap-Net基于可攻击空间对抗成因假说,对暗藏对抗样本的可攻击空间进行针对性处理,从空间根源处消除对抗样本。作为一种对抗样本检测方法,无需设计和构建新的外部模块,且不依靠生成的对抗样本所提供的信息。Trap-Net通过陷阱类数据标记可攻击空间,并通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本。实验结果表明,Trap-Net可在不损失干净样本分类精确度的同时具有很强的防御泛化性。在低扰动白盒攻击场景中,其探测率达85%。在高扰动白盒攻击和黑盒攻击场景中,其探测率几乎高达100%。(2)提出填充式对抗训练防御方法P-AT。该方法通过填充类数据生成方法生成填充类数据,标注可攻击空间的存在区域,可以在提升对抗训练防御泛化性的同时,将对抗样本检测与对抗训练两种对抗防御方法相结合,进一步提升模型的整体对抗鲁棒性。实验结果表明,P-AT可在低扰动条件下保持对抗训练所提供的对抗鲁棒性,在高扰动条件下以80%~98%的准确率对输入数据是否为对抗样本进行检测。此外,P-AT相较于传统对抗训练方法具有更强的对抗防御泛化性,同时P-AT可提升20%的对抗训练的防御扰动上限。(3)设计并实现深度神经网络鲁棒性增强系统。首先对系统进行需求分析,并对整体架构和模块进行相应的设计,最后结合Trap-Net以及P-AT进行实现。用户可使用该系统上传模型,选择数据集并设置参数,并使用以上两种方法对目标模型进行鲁棒性增强,通过使用预设的对抗攻击算法测试,目标模型的鲁棒性明显提升。
其他文献
智能反射表面(Intelligent Reflective Surface,IRS)是未来第六代无线通信技术的新兴范式,其可改变无线通信传输环境的特性近两年得到广泛关注。IRS可有效提升空间调制系统的数据传输速率,而在数据交互量轰炸式增长的信息时代,人们也越来越关注通信安全,IRS使能物理层安全在节省能源消耗的同时能够辅助提高传输安全。本文研究IRS在单输入单输出(Single-Input Sin
近年来,随着监控视频技术的普及和发展,运动目标检测技术被广泛应用于工业生产、安防监控和交通管理等领域。然而,实际监控场景的多变性和复杂性给运动目标检测算法带来了诸多困难和挑战,如动态背景、相机抖动和阴影等因素会影响算法的准确性和鲁棒性。因此,研究如何设计实时性好、鲁棒性强的运动目标检测算法成为当前技术研究的重点。基于深度学习的实例分割方法展现出强大的鲁棒性,能够精确地对每个目标的轮廓进行分割,因此
极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,Pol SAR)是一种强大的微波成像技术,可以提供全天候的地球表面的目标信息。与其他遥感影像相比,极化SAR图像能够以四种极化组合(HH、HV、VH和VV)发射和接收电磁波,从而提供更丰富的信息。由于这些特点,极化SAR技术在图像解译方面具有很高的实际应用价值,如图像分类、目标识别和检测任务,其中,极化S
基于深度神经网络(Deep Neural Network,DNN)实现的自动驾驶系统图像识别模型中,主要通过部署摄像头和激光雷达等设备收集驾驶场景信息。但现实驾驶场景广泛且复杂,手动收集训练样本时很可能会忽略大部分极端情况下的图像样本,这会导致模型无法学习到极端驾驶环境下的决策信息,从而导致严重的交通事故。除此之外,已有研究表明DNN很容易受到对抗样本的攻击,恶意攻击者通过对输入样本添加人眼无法识
全基因组关联研究(Genome-wide association study,GWAS)是研究人类复杂疾病致病原因最重要的方向之一。目前,通过GWAS对单个单核苷酸多态性(Single nucleotide polymorphism,SNP)位点与疾病的关联性分析目前已取得了显著的成果。由于复杂疾病的致病因子复杂多样,单个SNP位点的关联性分析对复杂疾病致病机制的解释效果十分有限,而多个SNP之间
会话情感识别作为情感识别任务的一个重要组成部分,在自然语言处理、文本挖掘等领域得到持续关注。会话情感识别任务旨在捕捉用户在会话中的情感动态,其在对话系统、舆情挖掘、法律审判、采访、电子医疗服务等方面具有重要的应用前景。随着社交媒体的普及,越来越多的用户选择在网络上表达自己的观点,而用户在表达观点的过程中经常依靠一些常识知识,同时会话中也经常存在让谈话者产生某种情绪的原因。由于现有的模型缺乏常识认知
随着物联网设备数量的快速增长,物联网设备固件的安全性问题愈发不容忽视。同时,由于软件需求的不断迭代,为了能够尽快完成开发任务,软件开发者常常从其他项目中查找功能相关的代码,并移植到自己的项目中。然而,这些被复用的代码或组件可能包含潜在的缺陷甚至漏洞。由于物联网设备的源码不开放、修复成本较高等特殊性,物联网设备固件面临更加突出的安全问题。为了解决该问题,一种主流的思路是将包含缺陷或漏洞的代码视作查询
文本匹配作为自然语言处理中的一项基本任务,广泛应用于信息检索、文本挖掘等领域。在实际应用中,文本匹配任务仍面临诸多挑战。现有主流的文本匹配模型通常存在一词多义、语义信息捕获不准确等问题,导致句子的上下文信息和隐含的语义信息不能被有效提取,造成准确率较低。为了解决以上问题,本文提出交叉知识增强的文本语义匹配模型,该模型基于全局-局部交叉知识增强和细粒度交叉知识增强的语义匹配方法实现。本文的主要研究工
随着我国老人的增多,老年疾病患病率也随之增高。在老年骨病患者中,绝大多数病症都与股骨相关。目前国内针对股骨近端骨折的主要治疗方法为髋关节假体置换。而这些假体大部依赖于进口。根据西安交通大学第二附属医院和中国人民解放军总医院的临床实践表明,目前进口的假体和钢板并不能很好匹配国人的股骨形状,造成术后恢复效果差。股骨参数测量可以辅助医生设计人工假体,同时还可以协助医生选择适合手术方案和器械。此外利用测量