深度学习的大力发展使其应用于人们日常生活中的各个领域。然而,以对抗样本、数据中毒为代表的面向深度学习模型的攻击同样给其应用带来了安全威胁。研究面向深度学习模型的攻击与防御算法,提供完整、规范的评估方法,从而在工业应用中保障人工智能系统的安全性、可靠性,有着重要的科学意义及社会价值。围绕深度学习模型的对抗攻击与防御、中毒攻击与防御两大对抗问题,以提高人工智能系统的安全性为目标,本文提出一系列的攻击与防御算法研究,主要工作与贡献如下:针对文本分类问题,提出了一种黑盒条件下对抗文本样本攻击方法,对抗文本样本在人类看来与原始句子具有相同的语义。通过单词的字母顺序交换和通过视觉上相似的字符交换字符来得到对抗文本,并结合关键字提取技术保证改变的单词数量尽可能少。生成的对抗样本能够成功地混淆多种文本分类模型。在黑盒设置下,基于迁移的攻击也很容易欺骗深度神经网络。为了缓解这一问题,提出了一种基于变分自动编码器框架的抗迁移攻击的鲁棒分类模型。该模型通过多元高斯分布和深度神经网络模拟了数据的生成过程并可以利用贝叶斯定理最大化每个类别的对数似然的下界来预测数据的标签。该模型的分类结果达到了最先进的水平,且具有明显更好的鲁棒性。针对深度学习模型的中毒攻击的研究相对不足的现状,提出了一种利用优势图像特征的清洁标签中毒攻击。每一类干净数据都将添加一种难以察觉的扰动,称之为基类的“优势图像特征”。当优势图像特征和干净的图像相加输入给训练好的神经网络模型时,优势图像特征决定分类结果。因此在这些中毒数据上训练良好的深度神经网络模型在干净测试数据上的准确性极低。同时攻击也可以用于隐私保护。此外,本文提出的数据中毒攻击可以扩展为一个干净标签后门攻击。探讨了两种情况下对聚类模型的攻击:决策时攻击和数据中毒攻击。提出了对聚类模型进行对抗攻击的可能性,并通过在所有训练数据上添加小扰动来对聚类模型进行干净标签的中毒攻击。聚类模型中的对抗攻击应该引起更高的重视。