协同对抗鲁棒的迁移学习

来源 :武汉大学 | 被引量 : 0次 | 上传用户:puppy_tang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络技术焕发的生机再次引爆了人工智能的热度,经过良好设计的深度神经网络架构结合上强大的计算力与高质量的数据集,让深度神经网络技术在多个领域远远地超出了传统机器学习算法。但与此同时,过多的前置条件也限制了其下沉到计算资源匮乏、训练数据稀缺的场景中。迁移学习类似于人类的学习行为,通过将源域中学习到的“知识”迁移到目标域中,以达到加快模型的收敛速度、提高模型最终性能等目的。它大大地降低了训练深度神经网络模型的难度。然而现有的对于迁移学习的研究主要关注于如何提高迁移后模型的准确率,忽视了模型鲁棒性这一重要指标。在对抗样本的范畴中,鲁棒性衡量了模型正确识别对抗样本的能力,它通常需要经过计算密集的对抗训练过程才能得到提升,因此分析迁移学习对鲁棒性的影响同样重要。本文针对迁移学习场景,分别从模型的准确率和鲁棒性两个角度切入,探讨迁移学习的不同策略对于迁移后模型的影响。为此,本文弥补了现有分析的不足,在基于多种常用的图像数据集构建的迁移学习场景中,细致地探讨在目标域上微调的模型层数对于模型准确率及鲁棒性的影响,并揭示了两者之间存在着取舍问题。随后,本文针对目前普遍采用的批标准化层,分析了其对于迁移学习后模型的性能的影响,并通过大量的实验证明:在迁移学习中有选择地重用批标准化层的参数,可以更好地提高鲁棒性或准确率。进一步地,针对迁移学习过程中准确率与鲁棒性的取舍问题,本文针对性地提出协同对抗鲁棒的迁移学习方案,分别针对源域模型的对抗训练阶段以及目标域模型的微调阶段设计了新的算法:考虑源域模型中的部分网络层会被目标域模型重用——被用于提取输入的特征——对此本文提出特征距离最小化,通过减少源域模型对正常样本与对抗样本所提取的特征的差异程度,以使其鲁棒性能够更加容易地被目标域模型继承;对于在目标域上的微调过程,本文提出非拓展微调算法,通过限制微调部分的网络参数的利普希茨常数,降低模型对于对抗样本的敏感程度,从而使微调后的模型能够更好地从源域继承鲁棒性。最后,针对所提方案,本文从超参数选择、消融实验、泛化性验证等多个角度进行了细致地评估与分析,实验结果证明本文方案的效果远远超出现有工作与基准方案。
其他文献
郑玄融贯今、古文经学,遍注群经,在训诂实践中继承前代声训之成就,特别强调“就其原文字之声类,考训诂,捃秘逸”的训诂方法,并使因声求义的重心从神学、政治领域转移到语言学领域。郑玄自觉使用因声求义的训诂方法,他在这方面的训诂实践具体包括推源与系源、破假借、明方言、明连语、明合音、释谐音双关等几个方面,并形成了一套术语。郑玄运用因声求义的训诂方法具有以下主要特点:融合古今,兼收并蓄;自觉运用,内容广泛;
学位
谣言一般被定义为广泛流传但未经证实、真伪性难以辨别的信息。移动互联网的飞速发展使得社交媒体成为了人们获取信息的主流平台。但是社交媒体的开放性、即时性、互动性也导致虚假谣言的广泛传播,给个人、社会和国家都带来了不良的影响。社交媒体谣言的特点是会引发大量用户评论,这些围绕谣言的讨论以树形对话结构的形式出现。针对社交媒体文本数据,如何从大量的对话中对谣言进行判别已成为一项艰巨的挑战。传统的基于特征工程的
学位
游戏是伽达默尔诠释学美学的起点,他从对康德的批判开始,驳斥了传统美学家眼中的“人的游戏”,将关注点落在“游戏的人”之上。伽达默尔认为游戏的主体不是游戏者,但游戏需要通过游戏者的游戏得以表现。在游戏的特征阐述上,他借鉴了赫伊津哈对游戏的人类学研究,认为游戏活动以往返重复的特征表现出来,它是无目的的。游戏将理性纳入自身,并超越简单的追求目的的理性。游戏不再受游戏者支配,转而成为游戏者的主宰。伽达默尔依
学位
近年来,基于对模型训练时的隐私安全、通信成本与存储开销等方面的考虑,联邦学习作为一种高效的分布式机器学习框架,受到了学术界与工业界的广泛关注。与传统集中式学习不同,联邦学习无需集中收集与存储训练数据,而是将训练数据保留在参与方本地,并借助服务器在多个参与方之间共享并更新模型,从而将模型的训练过程从服务器端下沉到参与方的本地设备。然而已有工作表明,即使数据不离开参与方的本地,攻击者仍可在联邦学习的过
学位
近年来,随着数字化网络时代的发展,人们的日常生活和工作都离不开计算机。计算机网络系统给人们带来便利的同时,也存储和处理着大量的敏感数据。为保护这些数据免受攻击者的篡改和获取,各种密码学技术得到了广泛的应用。侧信道攻击提供了一种不同于数学密码破解的方法对这些数据进行分析,使得通过侧信道信息恢复密钥成为可能。其中,时间侧信道攻击是计算机系统主要的安全威胁之一,处理器微架构设计为时间攻击提供了多种途径。
学位
我国寒区地域辽阔,受多年冻土区向季节性冻土区转变的影响,在寒区岩体工程建设过程中频频发生因冻融循环作用引起的隧道坍塌、边坡失稳等地质灾害,已经严重影响我国“一带一路”战略的推进。本文紧密围绕裂隙岩体冻融损伤扩展机理进行研究,利用相似材料制备含不同裂隙形式的单裂隙和双裂隙类岩石试样,开展一系列冻融循环和单轴压缩试验。通过分析冻融-荷载耦合作用下单裂隙岩体的断裂特征和劣化规律,进而探究双裂隙岩体冻胀扩
学位
医学图像分割在医学诊断中有着举足轻重的地位。近年来,随着深度学习的不断发展,各种网络模型在医学图像分割领域百花齐放。其中,2015年提出的U-Net网络在图像分割领域受到广泛关注。本文分析了深度学习模型在医学图像分割领域的应用,探索了胶囊网络在医学图像分割领域应用的可能性。本文的主要工作如下:(1)分析基于卷积神经网络的U-Net医学图像分割模型存在的问题,针对性选择相关数据集,设计实验并证明其存
学位
深度神经网络模型是人工智能技术中应用最为广泛的学习模型,其安全研究也越来越受到重视。模型逆向攻击旨在恢复部署在推理终端的神经网络模型的结构和权重值,是AI安全中的基础问题,为对抗样本等高阶攻击提供数据支撑。文章从侧信道的角度出发,将模型推理过程中产生的内存消耗与推理时间等数据作为攻击者可以获取的数据源,通过分析侧信道数据,文章对模型逆向的结构逆向和权重逆向两个方面进行了研究。在模型结构逆向方面,本
学位
近年来,在计算机技术的依托下,社交媒体在互联网的沃土上蓬勃发展,社交媒体是人们获取各项信息的重要来源。传统社交媒体内容发布需要人工花大量时间编纂、修改、审核、发布,这一系列流程耗费大量资源,并且创建的内容难于满足人们的需求。随着深度神经网络的快速发展,自动文本生成技术已经引起了广泛关注。通常,用于文本生成的常规生成对抗网络往往会出现奖励稀疏和模式崩溃问题,这些问题会影响生成样本的质量和多样性。在人
学位
信息隐藏是信息安全的重要领域,隐写术和隐写分析是其重要内容。隐写术的目的在于将秘密信息以第三方无法察觉的方式嵌入到载体中,现代常用的载体是图像、视频、音频等多媒体文件。目前很多不法分子利用隐写术进行违法犯罪活动,如“911”事件中恐怖分子就利用隐写术进行恐怖行动的策划工作,这对于国家社会安全造成了严峻的挑战。为了应对这种挑战,应该对于隐写分析进行更加深入的研究。隐写分析是隐写术的对抗技术,其目的在
学位