【摘 要】
：
神经网络在很多领域都实现了广泛的应用,精度也在不断地提高。但由于神经网络是数据驱动的黑盒模型,人们无法直接理解其决策依据,而且如果对神经网络构造对抗样本,可以使其以高置信度给出错误的结论,这导致神经网络在有安全需求的场景中无法被应用,成为了神经网络最大的缺陷。因此研究神经网络的鲁棒性是当前的关注重点。本文主要研究基于随机噪声注入的神经网络防御问题。在理论方面,对神经网络的任意层注入指数分布族噪声可
论文部分内容阅读
神经网络在很多领域都实现了广泛的应用,精度也在不断地提高。但由于神经网络是数据驱动的黑盒模型,人们无法直接理解其决策依据,而且如果对神经网络构造对抗样本,可以使其以高置信度给出错误的结论,这导致神经网络在有安全需求的场景中无法被应用,成为了神经网络最大的缺陷。因此研究神经网络的鲁棒性是当前的关注重点。本文主要研究基于随机噪声注入的神经网络防御问题。在理论方面,对神经网络的任意层注入指数分布族噪声可以保证神经网络的鲁棒性。但实际上,注入不同分布噪声对扰动的抵抗效果差别很大。本文针对指数分布和高斯分布噪声注入的神经网络鲁棒性进行研究,分别给出了在这两种分布噪声下Renyi散度的上界及其对抗性风险差距的界。在实验方面,本文对CIFAR-10数据集和多种神经网络结构进行了实验,发现随机噪声注入可以有效降低对抗样本对神经网络的攻击效果,使神经网络更为鲁棒。但在噪声加入过高时,也会导致神经网络自身分类准确率下降。本文利用逐层相关分析网络解释方法,找出加入对抗样本前后,输入图像的每个像素是如何对神经网络分类产生贡献的。针对图像主体部分的像素具有很大的正向贡献,而对抗更多的是攻击在图像的背景部分,本文提出对神经网络加入独立异方差的高斯噪声,即对图像主体增加方差较小的高斯噪声,对图像背景增加方差较大的高斯噪声,达到了更好的防御效果。
其他文献
21世纪以来,同盟在大国竞争中依然扮演着重要角色。非对称同盟成为国际关系中诸多双边或多边同盟关系的常态,以美国为中心的庞大的非对称同盟体系,成为当下最引人注目的同盟现象。本文在对传统同盟理论、非对称同盟理论及冷战后同盟理论的新进展总结梳理的基础上,总结归纳出冷战后非对称同盟的新特点。菲美同盟是典型的非对称同盟,这些特点在杜特尔特主政时期的菲美同盟中表现得十分突出。依据非主导国对主导国的依附和自主性
随机延迟微分方程在通信、生态、力学等方面都有非常重要的应用。由于这类方程的精确解难以得到,因此,用数值方法来近似方程的精确解在实际生产中得到普遍应用。稳定性是数值分析中的重要内容,研究方程数值解和精确解稳定性的关系在理论和实际中都有重要的意义。本文主要针对随机延迟微分方程,研究其数值解能否保持精确解的阶矩指数稳定性的问题。该问题可通过构造一类随机脉冲延迟微分方程,将随机延迟微分方程的精确解和数值解
图数据依靠其独特的格式,能够将数据间复杂的结构关联可视化。随着大数据时代的到来,图网络数据已经遍布生物学、化学、社会学等多个领域,常见的有物流交通网络、社会交际网络、化学分子网络等。图卷积网络模型是一种有效的半监督学习图模型,是用于在给定图上进行结构等特征提取的方法。为了解决图卷积网络在训练过程中存在的可伸缩性、准确性、计算的复杂性等方面问题,图采样方法抽取有代表性的节点,以便进行小批量节点的训练
间断有限元方法经常用于求解含有一阶导数的偏微分方程,因能够灵活处理复杂的边界问题而得到广泛应用。由于利用间断有限元方法时会在单元边界处产生间断现象,因此在处理高阶方程问题中,通常采用局部间断有限元方法,该方法是间断有限元方法的扩展。本文采用局部间断有限元方法求解四阶扩散方程。扩散方程是偏微分方程一个很重要的分支,其作为一种基本的能量耗散方程,被广泛应用于能源开发、电子科学、流体力学等众多领域。针对
基于分数阶导数的非局部性质,分数阶微分方程在描述一些自然现象时有独特优势。粒子以与经典布朗运动模型不一致的速率扩散的现象称为反常扩散现象,在物理建模的过程中,通常使用空间分数阶方程来模拟这种反常扩散现象。作为空间分数阶微分方程之一的空间分数阶非线性薛定谔（SF-NLS）方程,已经被发现在孤立子动力学、水波动力学等研究领域发挥着重要作用,可以通过研究方程的解来了解系统的状态和性质。然而,获得此类方程
人脸表情识别作为人机交互的重要环节之一,在生活中的应用越来越广泛。卷积神经网络借鉴人类的视觉特性,通过构建多个卷积层实现端对端的特征提取和分类,在表情识别领域取得了较好的成绩。然而通常卷积神经网络模型规模较大,难以应用到移动端设备,且目前对表情识别模型输入与输出因果关系的研究较少,这些问题限制了表情识别模型的推广和改进。因此,本文提出一种基于卷积神经网络的轻量化表情识别模型,并使用可视化技术分析输
本论文主要研究求解双曲守恒律方程的间断有限元方法的稳定性分析和误差估计理论。稳定性分析可以保证数值解范数可以被初值控制,进而保证了数值解不会随时间的推移而出现大幅度偏移;而误差分析则为方法的高阶精度提供了强有力的理论基础。间断有限元方法的核心思想是利用完全间断的分片多项式空间逼近方程的解空间以及检验函数空间,由于其间断的灵活特性,该方法在科学研究与生产生活中有着重要的应用。主要研究内容总结如下:首
非线性薛定谔方程是量子动力学或非线性光学中一类核心方程,在许多领域有着广泛的应用,例如非线性光学、量子动力学、Bose-Einstein凝聚体等。然而在求解非线性薛定谔方程的过程中,由于复杂的非线性项的影响导致其多数情况下难以得到解析解。因此,非线性薛定谔方程的数值研究成为了热点问题。迄今,已有多种数值方法（如有限差分法和有限元法）成功应用于非线性薛定谔方程的求解。但传统的差分方法存在误差较大,稳
Markov跳跃系统是一类特殊的混杂系统,它的模态切换受到Markov链约束并且各子系统的停留时间是一个服从指数分布的随机变量。指数分布的特点是无记忆性,这使得某些实际工程中的多模态切换系统不能建模为Markov跳跃系统。为了解决这一问题,引入了更符合实际的半Markov过程。本文就是研究更符合实际情况的带有半Markov跳跃的线性随机时滞系统,主要研究以下内容:首先,基于随机分析理论研究带有半M
近年来,非线性不适定问题频繁出现在各种实际问题和自然模型中。求解不适定问题通常使用正则化方法,其中Landweber型方法和迭代正则化Gauss-Newton法为两类经典的迭代正则化方法。针对大型不适定问题,这两种方法计算量较大且计算困难,而Kaczmarz型方法每次迭代只需求解一个子问题,可以有效降低计算成本提高收敛速度。因此,本文基于Hanke-Raus型启发式停止准则使用IRGNK方法求解非