单模型的对抗样本防御能力提升方法研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:qq269828183
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能在物联网等领域应用日益广泛,而其中常用的深度神经网络易受对抗样本攻击这一脆弱性给这些应用带来了巨大的安全隐患。因此如何在最小化模型计算负载和推理时间增幅的前提下,设计一个泛性地使对抗样本防御能力提升的方法,以及如何利用分布式训练的加速训练效果和各节点独立特点进一步提升模型的对抗样本防御能力是本文面临的主要挑战。为解决上述的问题,本文利用分支网络结构和特征融合方法设计了一种新的多分支单模型结构,并为其设计了符合结构的新损失函数,同时基于分布式训练中各节点相互独立和可缩短训练时间的特点,提出了两种多样性概念,并据此设计了相应的分布式训练算法。本文贡献如下:(1)设计了一种结合分支策略和特征融合方法的新多分支单模型结构。在增加少量计算负载和推理时间的前提下,使用分支策略让单模型获得集成模型因多个成员而具备的防御迁移攻击的能力,同时使用特征融合方法,解决多分支结构中因浅层出口提取特征不全面导致的在干净样本上识别率下降的问题。(2)设计了基于新多分支单模型结构特点的损失函数。损失函数包括准确率度量,分支置信度和多样性度量,其中准确率度量保证最终输出和分支输出的正确性,分支置信度帮助模型补充学习交叉熵中过滤的非正确标签对应信息,多样性度量增大非正确分类的类间距离,以提高模型的对抗样本防御能力。(3)提出了优化多样性和数据多样性,并分别设计了相应的分布式训练算法。基于分布式环境中各节点独立特点,通过各节点设定不同的优化器和损失函数超参构建优化多样性,以及分配给各节点非独立同分布数据实现数据多样性。在训练算法中,使用损失函数的多样性度量实现服务器模型聚合的注意力机制,同时据数据多样性设计了节点非完全同步策略和服务器局部聚合策略。从干净样本测试、防御性能分解评估、优化多样的分布式训练结果以及数据多样的分布式训练结果四个维度,本文使用CIFAR-10和SVHN两个数据集,证明本文提出的多分支单模型结构和相应损失函数,在不降低原始分类精度的前提下,可以提升其对抗样本防御能力,并验证了方法中每一步骤、两种外部多样性以及相应分布式训练算法的合理性和有效性。
其他文献
构音障碍是指发音障碍人群由于对构音器官的控制失常,造成发音含糊、缓慢的情况。近年来,自动语音识别(Automatic Speech Recognition,ASR)技术取得了长足的进步,引起了各个领域的关注。尽管ASR在各种场景中取得了成功,但为音障患者建立音障语音识别(Dysarthric Speech Recognition,DSR)系统仍然是一项艰巨的任务,其困难表现在:音障患者与正常人的发
能源是推动人类社会文明发展与进步所需要的重要资源。其中,太阳能作为“取之不尽,用之不竭”的清洁能源受到了研究人员的广泛关注。近年来,有机-无机杂化钙钛矿太阳能电池因其成本低和转换效率较高成为研究的热点。有机-无机杂化钙钛矿太阳能电池发展了短短的十几年时间,光电转换效率就突破25%,紧追单晶硅太阳能电池,但其稳定性问题是实现商业化的主要瓶颈。为了提高钙钛矿太阳能电池的稳定性,需要从制备器件的材料,结
超强超短脉冲激光的出现,催生了一门新兴的学科一强场物理。在超强激光场中,微扰理论不再适用原子与激光相互作用的研究,需要引入新的非微扰理论,比如:高频弗洛凯理论。处在强激光场中的原子分子会表现出一个很有趣的现象:随着激光强度的不断增强,原子的电离率反而出现了下降。这种全新的现象称之为“原子稳定”。高频弗洛凯理论(HFFT:High Frequency Floquet Theory)阐明,在高频近似条
随着技术的发展,医学的数字化和信息化的发展也在不同程度上呈现出上升趋势。同时电子医疗比起传统医疗的优势也更加明显,其中电子健康系统就是电子医疗中最具有代表性的系统。然而如今在这个大数据的共享时代里,用户更为关心的是在使用系统过程中存在的隐私安全问题。为此,研究者们对于解决这些问题也提出了很多自己的观点和想法,而这其中属性基加密是大家普遍认可的一种较为可靠和安全的加密方法,同时属性基加密的出现也对解
针对工业控制系统(Industrial Control Systems,ICSs)的网络威胁的频率和复杂程度与日俱增。工控网络协议(Industrial Control Protocol,ICP)是进行工控网络通信的基石,因此保证工控网络协议的安全性对工控系统的重要性不言而喻。研究人员们也日渐认识到,在不考虑工控网络协议的安全性的情况下,如何确保工业控制系统的安全性更无从谈起。但工控网络协议所应用
钍基材料相比于传统的铀有着更丰富的储量、更优秀的防扩散性能、更高的能量密度和更少的核废料产出,可以替代铀作为核燃料,是解决长期能源供应的一种技术方案。在钍基材料中,钍基氮化物凭借着高可裂变物质密度、高熔点、优秀抗辐照性能等优点,成为第四代核反应堆的具有应用前景的核燃料之一。ThN、Th3N4和Th2N3都是第四代核反应堆的重要候选燃料,其中科学家们已经对ThN进行了较深入的研究,而Th3N4和Th
为满足现代化工业需求,零部件的质量要求逐渐提高,高效率和高精度零部件的生产是目前急需解决的工程问题。所有旋转零部件都需要动平衡校正,平衡校正的结果成为零部件质量评估重要指标之一。在传统柴油机飞轮的动平衡校正过程中,使用键对飞轮定位,长时间使用的键和键槽容易磨损,出现飞轮定位不准确的现象,导致飞轮动平衡去重区域的识别不精确;再者有些类型的柴油机飞轮的键槽位置是任意的,键对飞轮的固定位置也是任意的,和
近几年,双线性配对技术被广泛应用于密码学的多个领域,许多基于双线性配对技术构造的加密和签名方案被提出。尽管这几年在实现技术上有了新的进展,但与有限域中的指数等标准运算相比,配对运算仍然被认为是一种相当昂贵的运算,不适用于代理重加密,数据聚合签名等众多用户计算资源有限的场景中。因此,为了节省计算开销,如何构造不依赖于配对的轻量级路径代理重加密方案和数据聚合签名方案是值得研究的问题。本文主要工作包括以
随着数据规模和计算复杂度的不断增加,在云计算环境中执行现代工作流应用会涉及大量不同类型和价格的云资源。这使得云工作流调度的成本成为人们关注的焦点。另一方面,由于云数据中心的能耗也在日益增加,云工作流调度的能耗也成为了学界和业界关注的问题。为了向用户提供成本更低的工作流调度服务同时降低云数据中心的能耗,基于性能的定价方案应运而生:云服务提供商可基于动态电压/频率调节(Dynamic Voltage
属性类别级情感分析(Aspect Category Sentiment Analysis,ACSA)是从非结构化文本数据中针对各个属性类别分析其各自蕴含的情感倾向。相比于通过对评论文本进行传统的情感分析,属性类别级情感分析能够使得公司更深入、更细致地了解评论的细节信息,了解用户针对具体对象的情感倾向。然而,现有的相关模型在建模时未能很好地将文本语句与所对应的属性类别进行深度融合,这对于属性类别级情