面向自然语言处理系统的对抗攻击与防御研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:shmilyxin2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于深度学习的文本分析和理解已成为包括问答、机器翻译、信息抽取以及文本分类在内的各种自然语言处理应用背后的核心技术。然而,尽管其备受欢迎且性能出色,但最新研究表明基于深度神经网络的自然语言处理模型容易受到恶意制作的对抗性输入的攻击。考虑到其在诸如情感分析、有害内容检测以及文本反垃圾等许多现实的安全敏感的任务中应用越来越广泛,这种脆弱性引起了人们对自然语言处理模型的安全性的极大担忧和高度关注。为了进一步研究基于深度神经网络的自然语言处理模型的脆弱性,学术界从不同的角度提出了大量的攻击方法来生成对抗文本。然而,大多数现有的攻击都假定可以访问目标模型的结构、参数或训练数据,而这种假设在许多现实的场景中通常不成立。并且,现有关于文本对抗攻击的研究主要集中在英文自然语言处理领域,而中文自然语言处理系统针对对抗文本的脆弱性仍然未知。此外,在对抗攻防博弈中,现有防御机制明显处于劣势,导致将自然语言处理模型完全暴露给了攻击者。为了弥合这一巨大差距以期进一步增强自然语言处理模型的鲁棒性,本文从三个方面研究了针对自然语言处理模型的对抗攻击和防御。与先前的工作相比,本文的优势在于:(1)针对现实应用的英文对抗攻击框架。我们提出了Text Bugger通用对抗攻击框架,该框架可以同时在白盒和黑盒设置下针对最先进的文本分类系统生成对抗文本。在用于情感分析和有害内容检测的15个行业领先的商业应用上进行的广泛经验评估表明,Text Bugger具有以下优点:(i)有效性——在攻击成功率方面,它显著优于最先进的攻击方法;(ii)隐蔽性——它保留了原始正常文本大部分的可用性,其中94.9%的对抗文本可以被人类读者成功识别;(iii)高效性——其生成对抗文本的计算复杂度与文本长度呈线性关系。(2)基于模型决策的中文文本对抗攻击。我们将对抗攻击扩展到了中文自然语言处理领域,并提出了一种新颖的基于模型决策的中文文本对抗攻击方法CTBugger,该方法可以针对中文自然语言处理系统有效地生成对抗文本。与现有的攻击方法相比,CTBugger具有以下优点:(i)实际性——它是第一个基于模型决策的文本对抗攻击方法,这种攻击只依赖于目标模型预测的硬标签,因而在实际场景中更为实用;(ii)有效性——在离线模型和实际应用上进行的系统评估表明,CTBugger可以以很高的成功率欺骗多个分类器,同时最大程度地保留原始文本的可用性;(iii)高效性——其成功生成对抗文本所需的平均模型查询次数少于6次,显著优于最先进的基于置信度的攻击方法。(3)基于多模态词嵌入和机器翻译的对抗防御。我们提出了一种专门针对中文自然语言处理模型设计的新型对抗防御框架Text Shield,以防御中文对抗文本。通过在两个收集自在线中文设计媒体的真实数据集上进行的深入实证评估,我们表明Text Shield具有以下优势:(i)通用性——它可以应用于任何中文自然语言处理模型而不需要重训练模型;(ii)有效性——它可以有效地防御在真实对抗场景中生成的混淆文本,而几乎不影响模型在正常文本上的性能;(iii)鲁棒性——即使是在自适应攻击的情况下,Text Shield依然可以显著地降低对抗攻击的成功率。
其他文献
制度性话语权建设是中国推动全球治理转型和建立新型全球治理秩序的重要途径和手段。近年来,中国在推动传统国际制度改革和建设新型国际制度层面取得了重大成就,并为构建公平
随着人们生活水平的不断提高和保健意识的日渐增强,对食品质量的要求也日益提高。鲜食葡萄不仅要求色、香、味俱佳.而且要求无污染、无残毒。生产无公害葡萄是大势所趋,必须协调
为了对煤炭企业安全投入进行合理配置,提高安全投入效率。采用数据包络分析DEA法对煤炭行业的安全投入效率进行科学评价。通过对数据的计算和分析,得出科学的安全投入配置,以
马克思恩格斯党的权威思想是马克思主义政党建设的重要组成部分。通过对历史与文本的分析,我们发现马克思和恩格斯确实有党的权威思想。深入系统地研究马克思恩格斯党的权威
H公司是全国水下工程行业内的翘楚,主要从事水下设施的安装、检测、安全评估等,其中ROV(英文全称Remote Operated Vehicle)作业部承担所有水下任务的主力。因此,需保有一支高水平的ROV领航员团队才能完成各项任务,即应把人力资源管理放在首位。由于海上任务较为特殊,危险性较大,工作环境较为恶劣,而相应的组织文化未能激发员工的荣誉感、认同感和个人追求等多方面因素造成很多ROV领航员选
目的探讨老年慢性心力衰竭(CHF)患者血浆脑钠肽(BNP)与心率震荡(HRT)、心功能相关性。方法 36例老年慢性心衰患者为心衰组,20例健康者为对照组。心衰组根据NYHA分为轻度心衰组(NYHA
问:新购买的电动车在使用前是否要对蓄电池进行充电?答:需要。因为蓄电池从出厂到装车再到消费者的手中有一个周转过程,在周转期内蓄电池因自放电会导致容量不足,为此必须用随车
肌肉的生长发育一直是人们的研究重点,其过程中涉及了许多复杂交错的调控网络。长链非编码RNA(long non-coding RNA,lncRNA)可以通过多种因子在不同转录水平参与肌肉细胞增殖
智能电能表采集系统的出现使问题得到了很好的解决,同时也满足了电网自动化的发展需求,使我国的电力事业得到了持续性的发展,可以说智能电能表采集系统是我国供电网络自动化
接入网同用户数据进行联接,是最后一公里的网络。通常来说接入网选择的是能够同所有环境相适应的技术,有光纤接入技术以及太网接入等技术。现阶段信息网络化不断加强,IP技术