基于注意力机制的对抗样本检测方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:shengli46
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,机器学习极大地提升了图像识别能力。然而研究表明即使决策可靠的深度神经网络模型也容易受到对抗性攻击的影响。通过向合法样本添加微小扰动形成的对抗样本使模型产生缺乏可解释性的错误输出对系统的安全性造成严重地威胁。因此,本文利用注意力机制理解模型针对样本的决策依据,并从样本注意力图特征和注意力特征距离空间两个角度实现对抗样本检测方法研究。这对于解释对抗样本使模型出错的原因和实现对抗性防御具有实际意义。由于注意力机制针对合法样本与对抗样本的注意力图展现出特征信息差异。因此,本文进行基于注意力图特征的对抗样本检测方法研究。在利用样本单特征方面,本文设计基于注意力图纹理特征的检测方法。通过提取合法样本与对抗样本注意力图的基于灰度共生矩阵的纹理特征绘制特征统计直方图,并采用阈值策略。为了充分利用样本注意力图的特征信息,在利用样本多特征方面,本文又设计基于注意力图统计特征的检测方法。从合法样本与对抗样本的注意力图提取多种统计特征,包括均值、标准差、峰度,以及基于灰度共生矩阵的对比度、能量、相关性、熵,训练基于支持向量机的检测器。在卷积神经网络多个隐藏层的前向传递过程中,由于对抗样本具有不同于合法样本的注意力特征输出,因此本文进一步研究基于注意力特征距离空间的对抗样本检测方法。利用样本在模型多个隐藏层的注意力特征输出构成了注意力特征空间,并使用合法样本在各空间中进行中心点嵌入。通过计算注意力特征输出与中心点之间的相对位置序列编码注意力特征输出的轨迹过程。根据从合法样本和对抗样本获得的距离序列,训练基于长短期记忆网络的检测器。本文使用CIFAR-10和Image Net数据集,以VGG19和Res Net50作为目标模型,测试本文的检测方法针对基于梯度攻击的检测效果。结果表明,基于注意力图纹理特征的检测针对无目标迭代攻击的高维对抗样本的检测效果较好,检测AUC值接近100%。基于注意力图统计特征的检测针对有目标迭代攻击相比于仅利用纹理特征有所提升,对于CIFAR-10的检测AUC值提升了约10.3%。另外,基于注意力图特征的检测具有检测方式简单迅速的优势。基于注意力特征距离空间的检测针对单步和迭代攻击都具有优异的检测结果。针对CIFAR-10和Image Net的检测AUC均值分别约为97.02%和99.63%。本文设计的基于注意力机制的检测方法不仅增加了模型的可解释性,而且提升了系统的安全性。
其他文献
人类基因组计划的实施,对生命科学的研究进入后基因组时代,蛋白质组学作为生命科学研究进入后基因组时代的里程碑,是生命科学研究的核心内容之一。蛋白质作为蛋白质组学主要
随着神经网络体系结构和损失函数的深入研究,卷积神经网络模型在图像处理领域(低、高层图像处理任务)得到了越来越广泛的应用。但是在高层任务中,一味地以加深加宽神经网络的
众所周知,为了控制温度应力产生的裂缝,目前国内外采用的普遍方法是设置诱导缝。因此正确掌握诱导缝所在断面等效强度的有关知识,合理设计诱导片的形状、尺寸、位置显的十分
肺癌的筛查一般需要PET-CT医学影像技术作为辅助手段。确定了肺癌类型,才能采用对应的医学手段进行治疗。如果只依靠医生的肉眼以及经验对肺癌的类型进行判断,不但效率低下,
非饱和黄土大量存在于中国西北地区,基于黄土特殊的物理力学特性和在工程实际应用中的不可避免性,对非饱和黄土的研究是非常有必要的。本文取兰州非饱和黄土为研究对象,在夏
目标跟踪技术已经在军事安全、轨迹动态分析、场景识别等领域取得了一定的成就。其核心思想是利用模型学习连续视频的第一帧的信息,然后在接下来的复杂连续帧中识别并定位目
异形柱(specially shaped column)是异形截面柱的简称。这里所谓“异形截面”,是指柱截面的几何形状与常用普通的矩形截面相异而言。异形柱是指截面几何形状为L形、T形和十字
近年来,多智能体系统(Multi-Agent Systems,MASs)的一致性作为协同控制的基本问题成为了控制科学范畴内的一个重要研究对象。同时,系统的开放共享性给多智能体系统的安全问题
云是由水汽凝结而成的悬浮于大气中的细小水滴或冰晶组成的可见聚合体。云的辐射强迫对地气系统的辐射收支起着重要影响,准确获取云的光学和微物理特性及其时空分布对于研究
变电站是电力系统中的重要组成部分,是生命线工程中的关键一环,肩负着重大任务。从近些年来国内外发生的破坏性地震引起的变电站震害来看,高压电气设备遭受的破坏严重,导致周