深度神经网络技术发展迅速,在各个领域都取得了极好的使用效果,随之而来的也有一些安全问题,例如对抗样本就给深度学习系统带来了很大的安全隐患。对抗样本指通过对原始样本添加一些人不易察觉的小的扰动,却能导致深度神经网络模型分类错误的一类样本。经过多年的研究,对抗样本的应用场景越来越广泛,对抗样本存在的危害性越来越大。现有对抗样本评估研究,采用对抗攻击造成的准确率降低值来衡量攻击效果,侧重于模型方面。对抗样本生成之后的攻击和传播不依赖于原有生成环境,同时还具有一定的可迁移性,从而造成其他同类模型受到攻击,所以需要从对抗样本的角度度量其危害性。目前尚无较全面的对抗样本危害性度量方法,人们难以判断、识别对抗样本的危害性并科学地确定优先级进行针对性的处理。所以,本文重点研究对抗样本危害程度分析与评估,主要工作包括以下两部分:1.本文提出对抗样本危害性通用评价指标,采用对抗样本的可迁移性、不可察觉性、攻击成功率、标签偏移度分别对文本类型和图像类型对抗样本进行全面的评价,可以在评估对抗样本的危害性、评估模型的脆弱性,评估某个对抗样本生成算法的攻击效果等方面为研究人员提供帮助。2.构建对抗样本危害程度评价模型。本文提出了一种基于层次分析法和模糊综合评价法的对抗样本危害程度评价模型。确立了对抗样本评价范围、指标和方法,通过形成科学的评价结果使对抗样本研究人员直观了解到该类对抗样本的危害程度,并帮助他们针对对抗样本的危害程度确定处理方式和处理优先级。借助对抗样本危害程度评价模型,研究人员可以量化不同对抗样本生成算法生成的对抗样本的质量以及对神经网络的攻击效果。在获得不同对抗样本生成算法的攻击效果、危害程度后,研究人员可以根据攻防场景中神经网络模型和样本的实际情况,选择最合适、最高效的对抗样本生成算法,这使研究人员可以更好地从对抗样本的角度攻击和测试神经网络模型。