面向神经网络鲁棒性的数据增强方法

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:xpzcz1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的不断发展,基于深度神经网络的应用越来越广泛,并在很多应用领域上取得巨大成功。但是,由于神经网络模型尚缺乏合理的可解释性,导致基于神经网络的系统在安全性和可靠性保障上面临巨大挑战。鲁棒性(Robustness)是衡量神经网络模型安全性和可靠性的重要属性。当前研究重点关注的是神经网络的局部(Local)鲁棒性,即神经网络模型N在给定样本x0以及扰动范围δ的前提下,样本空间中满足‖x-xo‖ ≤ δ的样本x都会与x0一同被N归为同一类别。对抗样本是在扰动范围内不满足局部鲁棒性的样本。当前有许多对抗攻击方法,可根据给定的模型和原始样本来生成对抗样本,并用于测试神经网络系统的局部鲁棒性。已有的基于对抗样本生成的神经网络训练方法可用于提高神经网络的局部鲁棒性,但是该方法存在两个问题:1)其所能防御的攻击具有一定的局限性,即用一种对抗攻击方法训练的模型对于另一种对抗攻击方法防御性不强;2)会牺牲神经网络模型在测试集上的准确率。为此,基于对神经网络反向传播原理的分析,我们观察到,通过对训练数据进行微小变异来进一步训练网络,可以在提高鲁棒性与保持测试集准确率之间取得平衡。在此基础上,我们提出了一个基于样本变异的神经网络通用训练框架STYX,在提高神经网络鲁棒性的同时又尽可能地保持在测试集上的准确率。STYX通过对神经网络的训练数据进行微小的变异生成新的训练数据,然后基于新的训练数据集来进行训练。该方法在增强模型对微小扰动适应性从而提高鲁棒性的同时,还尽可能地保持在测试集上的准确率。我们面向图像分类任务实现了 STYX,提出了像素点级别的变异规则,可适用于任何图像分类神经网络。我们在两个常用的深度学习训练数据集MNIST和CIFAR-10上进行了充分的实验,并和基于对抗样本生成的对抗训练方法进行了对比。实验结果表明:相比对抗训练方法,STYX能保持测试集准确率,并能有效提高模型训练效率(对抗训练需要的训练时间是STYX的6-15倍);在鲁棒性提升方面,面对不同的对抗攻击方法(FGSM、BIM、JSMA、DeepFool和C&W),STYX在不同的模型上对各个对抗攻击方法均能取得防御效果(平均降低10%的攻击成功率)。
其他文献
全面改革开放以来,中国在公安机关人力资源、公安行政管理体制、执法权力运行机制、规范警务辅助人员管理、组织队伍结构建设等方面进行了系列改革摸索,改革有力推进了公安队伍科学化和高效化建设。新形势面临新挑战,新挑战引发新问题。当前公安工作趋于复杂化、多样化发展,公安民警担负着应对国内的敌对和分裂势力,处理治安刑事案件、群体性事件、突发性公共危机等多重任务。责任大、要求高、担子重,高效执行任务、坚决完成任
随着我国航天产业的不断发展,如何高效管理大规模的航天测控资源、为航天产业提供高效地面测控服务面临巨大挑战。多星测控资源调度是研究如何为高中低轨等各类卫星分配测控资源,确定测控任务工作时间的科学问题。我国面临的多星测控资源调度问题是一个具有复杂约束的大规模组合优化问题。本文对多星测控资源调度问题模型和算法进行了研究,并探索了精确方法和元启发式方法混合求解框架。主要工作和创新如下:针对多星测控资源调度
无人车的稳定运行需要对环境中的目标、道路进行有效检测,然而依靠单一传感器难以有效满足无人平台的感知需求。本文以多传感器融合的环境感知算法为主要研究内容,针对目标、道路检测等问题进行了研究,提高了无人平台的环境感知能力。论文主要成果及创新点如下:1)设计了一种通过标定板三维建模的激光雷达与相机联合标定技术,并设计了点云与图像融合的目标定位算法。该方法有效解决了相机与激光雷达的标定问题。基于融合结果,
一维条形码是一种数据编码载体,是由含有商品信息的字符或数字编码而成的一串不同宽度的黑色矩形条纹图案,解码后可以得知条形码表达的原始信息。在物流销售、仓储管理、产品流水线控制等领域,计算机系统使用一维条形码对商品进行管理,有利于控制商品信息传输。一维条形码通常通过人工操作激光扫描设备方式进行读取解码,在现代工商业环境下,人工作业的传统方式已难以满足商品高速流转需求,同时也造成了人力资源的浪费。在数字
随着导弹技术的日益发展,导弹机动突防能力越来越强,依靠单枚导弹或多枚无协同导弹对机动目标实现成功拦截的难度越来越大。基于协同的多导弹系统具有作战范围大、毁伤效果强、突防或拦截的成功率高等特点,是实施饱和攻击和高效拦截的有效手段,已成为未来新型作战的研究热点之一。论文以多导弹协同拦截问题为背景,开展基于观测器的目标机动估计和考虑视线角约束的协同制导研究,以提高目标机动信息未知情况下多拦截弹系统的制导
近年来,各种突发事件在世界频发,特别是地震灾害造成了巨大的生命和财产损失,使得应急管理成为世界各国关注的热点。作为应急管理的重要组成部分,应急资源调度的效率决定了指挥决策者在突发事件后能否制定出有效应对突发事件的资源协调方案,最小化突发事件产生的危害影响,保障人们的生命财产安全。资源分配和资源运输是影响应急资源调度效率的两个核心关键问题,本文对其进行了深入研究,主要工作为:(1)针对应急资源分配问
在现场标定过程中,实验室所用的转台精度高、体积大,而在实际重力测量过程中,难以提供如此高精度的三轴转台,而加速度计组件的参数稳定性较差,存在参数漂移问题和逐次启动不重复性误差,需要对加速度计组件进行现场标定。因此,为降低标定方法对高精度转台的依赖,本文研究了多种加速度计现场标定技术,为保证加速度计参数的可观性,本文选用精度相对较低的双轴转台为标定提供足够的观测位置。本文的主要工作如下:1.研究了静
以常导高速磁浮列车相对位置传感器模拟检测与诊断技术为研究对象,提出基于等效负载的检测方法模拟传感器在实际轨道上的工作状况;针对检测方法存在的缺陷进行分析,提出三种优化方法并进行验证和对比;在此基础上,采用KPCA对传感器进行离线故障检测和诊断;最后将等效负载检测方法和传感器故障诊断算法进行了工程实现,设计了一套传感器离线测试台。主要研究内容如下:1、建立了传感器等效电感模型,对等效负载检测方法进行
随着信息技术的不断发展和网络基础设施的不断建设壮大,移动互联网已经成为当今互联网的主要组成部分,针对移动互联网的取证研究和流量分析等领域的重要性日益凸显。针对移动互联网的数据研究以人为捕获的移动端流量为基础,如何高效率地捕获具有详细信息的流量数据是当今移动流量研究的难题之一;移动互联网流量以各类APP产生的流量为主体,通过对移动APP的逆向研究辅助移动互联网流量研究也是常用的技术手段之一。本文首先
数据驱动的深度学习方法因其强大的特征提取能力已经被广泛用于雷达自动目标识别的研究。深度学习能够自动从大量的训练样本中学习数据的特征。与传统的机器学习方法相比,深度学习有更强的提取目标的语义特征的能力,在识别任务中通常有更好的性能。但通常情况下,有标签的雷达数据比较少,不能满足深度学习的训练要求,会导致严重的过拟合现象。此外,雷达传感器容易受到噪声的干扰,雷达回波受其与目标之间的相对角度以及相对位移