在过去的几十年里,人工智能相关领域得到了广泛的发展,如计算机视觉、自然语言处理等。然而,有一些技术被证明是脆弱的,一些被篡改过的输入,人类可以很容易地区分,但算法会将其分类错误,这种被篡改过的输入称为对抗样本。如何生成高质量、不易察觉的的对抗样本和如何有效防御这种对抗样本成为近年来的研究热点。本文从攻击和防御两个方面对对抗样本问题进行了深入研究。针对了解模型架构和参数等信息的攻击,本文提出一种基于梯度的白盒攻击方法来攻击情感分类器。一方面,在扰动文本时使用欧式距离和余弦距离组合度量选择语义上最相似的替代单词,扩大了候选词范围,可以有效地提高攻击成功率。实验结果显示该方法将全局搜索攻击成功率从75.8%提高到85.8%。另一方面,为了防止像贪心搜索算法生成的对抗样本中替换词容易聚集在一起,从而使文本可读性很差。本文引入变异系数来控制对抗样本中修改词位置的分散性,分散的修改内容可以增加人类对修改的不感知性和文本可读性。在评估部分使用攻击成功率来验证攻击方法的有效性,并使用最终替换词的变异系数值来衡量所生成的对抗样本中修改词的离散程度。最后将这两种方法结合使用,可以提高攻击成功率并使生成的对抗样本中的单词修改位置更加分散。针对不了解模型内部信息时的攻击,本文提出了一种新颖的黑盒攻击方法,该方法基于差分进化算法来生成在语义和语法上相似的对抗样本,生成对抗样本同样用来欺骗词级情感分类器。与现有的基于遗传算法的对抗攻击相比,本文的算法在保持较低的单词替换率的同时,可以获得较高的攻击成功率。在10%的单词替换阈值下,本文将攻击成功率从58.5%提高到63%。攻击者可以使用这两种攻击方法来应对不同的应用场景。针对对抗样本的防御,本文提出了一种称为鲁棒对抗训练RAT的防御方法。该方法首先按照对抗训练的思想加入一些对抗样本到训练集中一起训练,在训练过程中,再按一定比例对训练集中的文本做扰动,以此来学习对抗样本中可能出现的特征。在两个数据集上的实验表明,基于RAT框架的模型可以有效防御词级对抗攻击。与现有的防御方法相比,RAT框架下训练的模型在1000个对抗样本中具有更高的防御成功率。另外,RAT训练后的模型在标准测试集上的准确性也优于现有的防御方法,并且其准确性非常接近甚至高于标准模型。