基于主动学习的对抗训练方法研究

来源 :天津大学 | 被引量 : 1次 | 上传用户:bj4587
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络因其强大的特征表征能力而被广泛应用于人脸识别、目标检测、车牌识别等领域,极大地方便了人们的生活。然而,研究表明神经网络在面对含对抗噪声的对抗样本时展现出的脆弱性严重影响了它们的性能,更有甚者会造成很大的安全隐患。为了解决这个问题,大量传统对抗防御算法被提出,其中最有效也是应用最广泛的方法是对抗训练,即将对抗样本作为数据集,对模型进行训练,使得模型学习到含对抗噪声样本的数据特征。大量研究表明对抗训练的确能显著提升模型的鲁棒性。然而,该方法也存在严重的缺陷。由于对抗训练通常需要使用大量对抗样本,对模型进行额外的训练,故该方法需要耗费大量的时间成本,也对计算机硬件提出了较高的要求。针对这些问题,本课题结合主动学习的思想,从减少对抗训练所需数据量的角度出发,研究基于主动学习的对抗训练方法。本文主要研究内容和创新点如下:1、针对对抗训练需样本量过大导致时间成本过高的问题,提出一种基于关键样本的对抗训练算法,有效地降低训练所需的数据样本量,并缩减时间成本。本文首先对模型鲁棒性与对抗样本数量之间的关系进行研究,证明了对抗训练存在数据冗余的问题,然后基于主动学习的思想,提出本文的方法,依据样本最大预测概率值作为衡量不确定性的标准,在每个训练周期中仅选择信息量丰富的部分样本训练,在VGG,ResNet等模型上进行实验,证明本方法能有效提升训练效率。2、针对对抗样本的生成耗时的问题,对产生对抗样本的攻击算法进行研究,利用预测概率值方差信息为依据,自适应地选择生成对抗样本所需迭代次数,提出一种基于样本代数选择的自适应对抗训练算法,减小生成对抗样本时所需迭代次数,进一步避免了冗余计算,提升了训练效率。本文在层数及结构不同神经网络模型上,CIFAR10,CIFAR100和STL10三种不同复杂程度的数据集进行了实验。也专门针对贝叶斯神经网络进行研究,相较于传统对抗训练,能缩短30%以上的时间成本,证明了该方法的有效性。
其他文献
当今常用的谣言检测模型受人为因素的影响,难以挖掘信息的潜在特征。推文中图片内容的占比越来越大,如果忽略图片信息,仅从文本角度很难全面检测推文的可靠性。本文针对当今谣言检测方法的缺陷,提出基于多模态和深度学习的Twitter谣言检测模型。主要工作和成果包括:(1)本文提出了一种基于深度学习的BLSTM-CNN谣言检测模型。该模型由双向LSTM和多核CNN组合构成,通过它来挖掘谣言文本的潜在特征。首先
学位
随着我国税务征管方式的日臻前沿,互联网时代对企业税务风险管理工作提出了更高的要求。尤其是集团型企业,规模的不断扩张的同时税收管理风险也在同步提升。本文从集团型企业税务风险的特征出发,剖析了风险形成的原因,并提出了具体对策。在全新的"大数据"税务生态环境下,只有集团化税务管理的有效落地才能降低税务管理类风险的发生。
期刊
房地产企业需根据法律法规要求缴纳税款,享有权利的同时履行义务,在税负政策的支持下稳健营运。税务风险与房地产企业未能深入解析税负政策及轻视税务管理等有关,目前税务风险管理作为企业风险管理分支,受到了房地产企业的重视。文章探索了房地产企业税务风险管理的难点及措施,以期提高房地产企业营运综合管理质量。
期刊
本论文研究的内容是基于语音和人脸图像跨模态生成方法的研究,包含两个任务。第一个任务是从语音重建人脸,第二个任务是人脸图像的个性化语音合成。对于语音重建人脸任务,在本文中,设计了一种基于编码器-解码器结构模型,并将残差先验信息的思想引入模型,提出一种基于注意力的残差先验语音重建人脸模型,该模型将面部先验特征与语音特征合并,送入人脸特征解码器以形成最终的人脸图像。本文提出一种联合损失函数,该函数是L2
学位
自2018以来,越来越多的6mA位点相关数据被发现。同时6mA位点的识别也开始受到越来越多学者的关注。6mA位点的识别在生物信息学领域具有重大的意义。目前,越来越多的6mA位点识别的方法被提出来。其中,大多数学者都采用到了机器学习的方法来识别6mA位点并且都取得了不错的效果。但是,相比于众多的数据和物种,仍然需要更多的计算方法来进行识别。目前多数传统的机器学习或者深度学习方法都只在单一物种上有效。
学位
随着近些年来物联网(IoT)和云计算的蓬勃发展,密码安全也愈发显得重要。公钥密码体制无疑作为最受业界青睐的密码体制之一,也为广大密码学者及科研人员尤其关心的对象。对现存在有的相关密码算法实现侧信道攻击,有助于了解该密码算法的安全性和不足之处,有助于对该算法进行详细的评估,在原有算法基础上增加更有效防护策略,使得该密码算法更具备抗攻击性。本文针对盲化Boscher RSA加密算法,在SASEBO-G
学位
区块链为数据的安全可信存储提供了不以人的意志为转移的技术保障。传统区块链系统为了满足数据安全与去中心化的设计要求,将全量数据存储在所有的全节点,并通过分布式共识机制来实现数据更新操作以及全局一致性视图,从而消除中心化架构的弊端和信任问题。然而,随着区块链系统的运行,全节点的规模以及数据的体量都会越来越大,这将不可避免的带来巨大的数据冗余和节点存储压力。因此,区块链存储可扩展性方案的均衡设计成为一项
学位
物体计数是密集计数任务的拓展,是对图像或者视频中感兴趣的物体进行数目统计。基于物体计数的研究可以分为两类:基于检测的物体计数和基于回归的物体计数。基于检测的物体计数方法预估物体数目通常远远小于真实物体数目。基于密度图估计的回归方法由于输出的密度图保存了物体的空间信息,从而能够对密集小物体实现接近真实数目的计数,但是这种方法由于缺乏物体的位置信息,不能如目标检测一样定位到每个实例,失去可靠性,限制了
学位
当我们看一张图像时,便会很自然地联想图中人物间的关系,这能为人物性格以及可能将采取的行为提供线索。在计算机视觉领域,社会关系信息也大有用处,可被用于提高其他任务准确率,如人物轨迹预测、多目标跟踪等。目前该领域工作大部分都是针对特定场景的,因为社会关系的复杂性为通用场景下社会关系识别的完备性及准确性带来挑战。本文工作就是一种通用的社会关系识别方法。现如今,已有的相关工作还存在以下两个问题:忽略不同人
学位
二分网络的链接预测算法能够有效地识别异质类型节点之间的潜在关系,有助于分析网络的结构演化规律,在刻画以人为主体的复杂网络算法中得到了广泛的关注。常见的二分网络可以包括学者节点-机构节点二分网络、用户节点-物品节点二分网络等。然而,现今的链接预测算法存在网络数据稀疏、噪音信息多的问题。为了缓解这些问题,本文提出了基于耦合语义特征的二分网络链接预测算法,耦合语义特征抽取自不同类节点的相同文本信息中,从
学位