以机器学习、深度学习为代表的人工智能技术在不断发展且广泛服务和赋能人类生产生活方式的同时,其自身存在的技术漏洞所带来安全隐患却不容忽视。由于先天性的算法黑箱和训练过程不可解释性等自身存在的安全问题,衍生出了针对数据、模型和算法的攻击,这吸引了越来越多安全研究人员的关注,其中针对模型算法安全的对抗样本攻击成为当下人工智能安全领域最为关注的研究热点。研究表明,在各领域表现良好的机器学习模型在面对对抗样本攻击时表现得十分脆弱,攻击者通过在原始输入数据中添加精心设计的细微扰动所形成的对抗样本,能够诱导机器学习模型以高置信度做出错误的决策。对抗样本的存在给恶意攻击者提供了强有力的攻击,使网络空间安全面临更为严峻的挑战,阻碍了机器学习、深度学习在该领域的各应用场景的深入拓展。因此,开展机器学习和深度学习算法安全性的研究,特别是对抗样本攻击和防御技术的研究具有重要的理论价值和现实意义。本文先从攻击的角度,分析了网络空间安全领域中恶意流量、恶意软件检测两个具有高对抗性攻防场景中生成对抗样本所特有的场景约束和挑战,同时利用可解释性方法“透明化”深度学习复杂推理背后的决策逻辑,为生成适合这两个场景的对抗样本提供指导依据;接着从防御的视角,在图像分类领域提出一种新的提高模型对抗鲁棒性的对抗训练方法,有效地改善了标准对抗训练方法训练耗时过长等问题。本文的主要研究内容和创新工作如下:1、基于LIME规避检测的恶意TLS对抗流量生成研究针对主流基于机器学习算法的恶意流量检测系统,在未知模型结构和参数细节的前提下,提出一种基于LIME（Local Interpretable Model-Agnostic Explanations,LIME）的对抗样本生成方法。该方法首先针对每一恶意TLS样本实例及其一组近邻训练一个简单易解释的线性模型,用于拟合黑盒分类器关于该实例决策边界局部性质,并以线性模型的权重系数表示输入向量各分量对分类结果的影响权重,从而通过简单模型解释目标模型局部特征权重。同时为降低生成实际有效对抗攻击流量的难度,将输入样本沿替代线性模型决策边界法向量方向进行扰动,并将扰动添加到样本中有利于使目标检测模型判断为良性流量的负特征上来生成对抗样本,确保生成的对抗样本保留了原始恶意样本的攻击特性。与Bot GAN相比,本文方法扰动恶意流量特征维度更少,减少了生成实际恶意对抗流量的难度。最后根据修改的对抗特征逆向构建攻击流量,生成可在真实网络环境中传输的对抗流量,实验结果表明,该方法可对主流基于机器学习算法的目标检测系统构成实际威胁。2、基于良性显著特征恶意软件对抗样本生成研究针对基于灰度图像恶意软件检测系统,提出一种保留恶意软件可用性和功能性的对抗样本生成方法。首先重点分析PE文件格式和加载对齐机制,发现PE文件各区块之间因加载机制文件对齐而存在的间隙空间和PE文件尾部空间添加或修改数据均不会破坏PE文件功能性和可用性,并将这两部分空间区域作为对抗攻击区域。在此基础上提出两种基于良性显著特征的对抗样本生成方法:BSFA和EnhancedBSFA。其中BSFA方法利用Grad-CAM可解释方法从良性样本提取具有类别区分性的良性显著特征,将其作为扰动值填充或修改恶意样本攻击区域内容,以增加恶意样本的良性判别属性,从而诱导目标检测模型将恶意PE文件误判为良性样本。EnhancedBSFA方法为在BSFA方法的基础上融合了M-FGSM方法,其攻击效果更佳。3、基于自适应噪声添加与最大化模型预测熵对抗训练算法与研究为抵御对抗样本的攻击,提出一种新的提高模型鲁棒性对抗训练方法。从分析神经网络在推理时背后的决策依据着手,探究深度神经网络在分类对抗样本时做出错误决策的原因,以透明化深度学习的“黑盒性”。在此基础上引入可解释性工作Grad-CAM,首先提出利用类激活映射指导噪声自适应添加（ANA）的对抗训练方法,该方法通过在输入图像对类别导向起关键作用的区域添加更多的噪声,以抑制神经网络对该区域像素变化的敏感程度,而在其他非关键区域添加较小的噪声,以提高模型的分类精度。相对于标准的对抗训练TRADES、Madry,ANA方法只需迭代计算一次反向梯度,有效节省了对抗训练的时间。其次,为进一步提高模型的对抗鲁棒性和泛化能力,在原有网络代价函数添加最大化模型预测熵（MME）正则项,在保证模型分类边界面不产生偏移的前提下,降低了模型受到对抗攻击的可能性,并从理论上证明了组合自适应噪声与最大化模型预测熵（ANAMPE）的对抗训练方法有严格的下确界。最后在MNIST,CIFAR-10和CIFAR-100数据集上验证了ANAMPE方法在5种主流白盒攻击下FGSM,MIM,BIM,JSMA,C＆W模型防御对抗攻击的能力,实验结果表明,ANAMPE方法相比于ANA可以进一步提高模型的对抗鲁棒性。