随着深度学习的发展及其在实际应用中的普及,关于神经网络鲁棒性的研究成为学术热点,尤其是针对神经网络的攻击和防御受到了越来越多的关注。攻击者可以根据神经网络的可微性,在原始样本上增加一个微小的扰动来构成对神经网络的攻击,使得模型对该样本分类错误。同时,防御者通过隐藏模型的真实梯度,使得神经网络能够对这类攻击进行防御并大幅增加模型的鲁棒性。本文从攻击和防御两方面展开神经网络鲁棒性研究,取得了如下进展:在攻击领域,根据攻击者所拥有关于模型信息的类型,攻击方法可以被划分为白盒攻击和黑盒攻击两类。在白盒攻击中,攻击者可以获得原始模型的结构或梯度等信息,而在黑盒攻击中,攻击者通常只能通过查询来获得样本的标记,本文着重研究更贴近实际攻击模式的黑盒攻击场景。黑盒攻击的常用方法是利用从目标深度神经网络中查询的样本和标记信息来训练替代模型,并使用现有的白盒攻击方法来攻击替代模型,进而使用生成的对抗样本来攻击目标网络。然而攻击者通常需要大量查询才能收集足够的数据来训练准确的替代模型,因此这种方法的查询效率非常低。针对该问题,本文使用主动学习策略对算法生成的大量待查询样本进行筛选,显著减少了所需的查询数量。同时,为了减少采样带来的偏差,本文进一步提出了一种多样性准则,避免出现冗余样本。实验结果表明,本文提出的算法可以在减少90%以上查询次数的同时保证攻击的成功率,并获得与目标模型相似度超过85%的替代模型。在防御领域,大量基于混淆梯度性质的防御方法都被攻破,而基于对抗训练的方法也无法有效地缓解决策边界扭曲的现象。针对该问题,本文基于距离度量学习技术,提出三元组损失对抗训练框架(AT~2L)来提高神经网络的鲁棒性。具体而言,三元组损失作为一种被广泛应用的度量学习技术,能够有效地度量不同类别的样本之间的距离并平滑模型的分类超平面。本文将三元组损失引入对抗训练的框架中,并将三元组损失中锚点替换为当前模型的对抗样本,以获得更加平滑的分类边界。此外,本文进一步提出了AT~2L的集成版本,能够综合不同的攻击方法和迁移自不同模型结构的对抗样本,取得更好的防御效果。实验结果表明,在MNIST数据集上,本文所提出的方法可以在不牺牲准确率的情况下保证85%以上的防御成功率。同时,本文提出的三元组损失也可以被当做正则化项加入到损失函数中来进一步增强其他防御方法的效果。