基于GAN的语音对抗样本生成与防御算法研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:luohuanyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,计算机硬件计算能力的不断提升和大规模数据集的出现,使深度学习极大地促进了人工智能领域的发展。然而,研究表明基于深度学习的人工智能模型存在鲁棒性问题,容易受到对抗样本的影响。目前,白盒语音对抗样本生成算法分为基于梯度的算法与基于约束的算法。基于梯度的算法的优点是可以快速生成语音对抗样本,缺点是生成的语音对抗样本攻击力差、语音对抗扰动大、听觉感知差。基于约束的算法的优点是可以确保生成的语音对抗样本的质量,缺点是需要消耗大量的计算资源。鉴于上述两类白盒语音对抗样本生成算法各自的不足,本文从数据分布的角度出发,提出一种基于GAN的白盒语音对抗样本生成算法。本生成算法利用GAN来学习语音对抗扰动的分布,通过向良性语音样本添加语音对抗扰动来生成语音对抗样本。通常的GAN架构包括生成器与判别器,本算法在此基础上加入一个预训练的语音模型,用于评估生成的语音对抗样本的攻击力。生成器的网络结构采用基于Unet的卷积循环神经网络,目的是使生成的语音对抗扰动更符合语音特性,降低语音对抗扰动的大小。通常的损失函数包括GAN训练损失,本算法在此基础上加入了语音对抗扰动最小化损失、语音对抗样本的心理声学损失、预训练的语音模型的推理损失。语音对抗扰动最小化损失能够减小生成的语音对抗扰动的大小。语音对抗样本的心理声学损失能够提升生成的语音对抗样本的听觉感知。预训练的语音模型的推理损失能够提升生成的语音对抗样本的攻击力。另外,本文通过预训练基于GAN的白盒语音对抗样本生成算法来快速生成语音对抗样本。实验结果表明,本算法能够生成具有较小语音对抗扰动、较好听觉感知、较强攻击力的白盒语音对抗样本。目前,基于预处理的语音对抗样本防御算法的优点是不需要对目标模型做出修改,不足之处是不能够有效地去除语音对抗样本表面的对抗扰动。本文针对现有的基于预处理的语音对抗样本防御算法在去除语音对抗扰动方面的不足,从数据分布的角度出发,提出一种基于GAN的语音对抗样本防御算法。本防御算法利用GAN来学习语音对抗样本到良性语音样本的映射,在语音对抗样本输入到目标语音模型前,通过将语音对抗样本映射回良性语音样本来防御语音对抗样本。通常的GAN架构包括生成器与判别器,本算法在此基础上加入一个预训练的语音模型,用于指导生成器学习语音对抗样本到良性语音样本的映射。生成器的网络结构采用基于Unet的卷积循环神经网络,目的是使生成器能够更好地学习语音对抗样本到良性语音样本的映射。通常的损失函数包括GAN训练损失,本算法在此基础上加入了语音对抗扰动最小化损失、预训练的语音模型的推理损失。语音对抗扰动最小化损失与预训练的语音模型的推理损失能够提升生成器将语音对抗样本映射回良性语音样本的能力。另外,本文通过预训练提出的基于GAN的语音对抗样本防御算法来快速防御语音对抗样本。实验结果表明,本算法是一种较为不错的基于预处理的语音对抗样本防御算法,能够有效恢复语音对抗样本为良性语音样本。
其他文献
微纳马达是一个方兴未艾的研究领域,以其独特的自驱动特性,受到了越来越多研究者们的关注。微纳马达是一种能够将周围环境中其他形式的能量(如化学能、光能、热能等)转换成自身机械能的微纳米材料。通过自驱动机制,微纳马达的运动性为微纳米材料在复杂环境下的应用打开了一扇新的大门。席夫碱水凝胶通过席夫碱反应聚合而成,具有动态可逆的席夫碱键。动态可逆的交联方式,赋予其不仅有良好的力学性能,还具有一定的自愈能力,并
学位
突出煤层的瓦斯治理需要确定突出敏感指标,传统突出敏感指标研究以现场实际发生的煤与瓦斯突出或动力现象为依据,目前显然不具备这样的条件。新形势下,突出敏感指标应用在“区域四位一体”之后,用于对区域防突措施的效果进行验证。区域消突措施的效果以残余瓦斯压力和残余瓦斯含量为依据,故新形势下的敏感指标应与残余瓦斯相联系。论文探讨了新形势下以区域指标和局部指标中的瓦斯相关指标之间的单值对应关系为基础的突出敏感指
学位
几乎所有的复杂系统都可以表示为网络。在社会化网络中,由于每个节点用户自身的社会特征及所处战略位置的不同,使得节点自身重要性及影响力各不相同。通过社会交互行为,节点用户会在其他用户的影响下做出思想和决策上的改变,这种相互影响会使网络中的信息传播形成级联效应,导致具有较大影响力的少数关键节点造成网络信息大规模扩散。此外,随着社会化网络规模日益增大、节点间交互信息的多层次性、社交网络中用户间的协同作用以
学位
级联U-Cell拓扑作为新型变流器拓扑,具有功率密度更高,多电平下造价更低,相同电平数下使用开关管数更少等优势。对于1140 V井下电网环境,应用级联U-Cell STATCOM占地面积更小,功率密度更高。有限集模型预测控制(FCS-MPC)作为新型计算机控制算法相较于传统控制算法具有更好的快速性,鲁棒性等优势,且基于价值函数易于添加约束,更能适应现代工业复杂工况。本文首先以五电平级联U-Cell
学位
非晶合金具有长程无序、短程有序的亚稳态结构,并且内部不存在晶界、位错等缺陷,这些独特的结构特征赋予其优异的力学、物理和化学性能。然而,非晶合金的广泛应用目前存在两个主要障碍:玻璃形成能力低导致的小临界尺寸以及复杂几何形状构件的制造困难,极大限制了非晶合金结构材料的推广与应用。激光选区熔化(Selective Laser Melting,SLM)是一种逐层添加、逐层熔化冷却凝固成型,最终制造出三维实
学位
近年来,“内卷”一词被大众熟知,并快速向大学生、上班族等人群蔓延。“内卷”是一个学术术语,在学术界经常被用作“内卷化”,它被认为与中国特色紧密相关,且使用范围较广的学术概念。现在“内卷”被用来形容目前的竞争对手为了争夺有限的资源而竞争,结果造成个体“利益努力比”下降的现象。基于现实对内卷现象的讨论,并结合既有的内卷概念在其他领域的理论研究,本研究将内卷引入到组织中来,将组织看作一个系统,个体作为组
学位
超大采高液压支架作为大采高综采工作面主要的支护装备,其可靠性的优劣对煤炭安全高效开采具有十分重要的意义。由于超大采高液压支架支护工况复杂多变,开采扰动和顶部岩层运动易引起其关键零部件的瞬态应力集中,造成支架整机的可靠性和安全性下降。本论文针对超大采高液压支架现场应用中出现的开裂等严重失效问题,通过超大采高液压支架掩护梁的力学模型和三维实体模型分析,从超大采高液压支架的受力、结构、制造工艺等方面,研
学位
图像超分辨率是图像处理领域的一项重要技术,旨在通过软件的方法重建并补全低分辨率图像丢失的信息,进而重建出清晰的高分辨率图像。近年来,虽然基于卷积神经网络的图像超分辨率算法得到了大力发展,但现有的大多数算法仍然只是单纯地通过深化或拓宽网络来促进网络性能的提高,导致在图像特征的提取和利用等方面仍然存在很多不足之处。为了解决现有方法中存在的问题,本文深入研究了基于注意力与自编码的图像超分辨率方法。主要研
学位
地震灾害作为群灾之首,产生的危害巨大。当地震发生后,受灾点自身的物资储备不足以应对灾区基本的生活需求,对外界产生大量应急物资需求,因此需要合理分配应急物资,并据此制定车辆配送方案以节省救援时间。本文以汶川地震应急物资调度为研究对象,首先,考虑通往灾区的道路因地震而受损,进而影响到车辆行驶速度;然后考虑各受灾点因受灾程度不同而导致所需物资数量不同,对应急物资进行合理分配;最后根据道路状况以及车辆数量
学位
Ti O2光催化氧化是一种操作简单、绿色、环保的水污染治理技术。但纯Ti O2存在难以被可见光激发,且激发后光生载流子会快速复合,以及实际应用中难以回收等问题。通过非金属元素掺杂改性(如N、F、C等)可以显著降低二氧化钛本身的带隙能,降低光生载流子复合几率,从而提高光催化活性;通过将纳米Ti O2固载在多孔材料上制备复合光催化剂,可以解决纳米颗粒难以分离回收的问题。由煤疏中质组制备的泡沫炭(CF)
学位