生成式对抗网络的自动结构优化策略研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:ayun33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生成式对抗网络(GAN)是一种重要的生成模型,在图像生成等任务上有广泛的应用。但是保证GAN的可用性的前提是对其结构进行精心设计。为此,工程师花费了大量时间和精力用于设计GAN的结构。而近年来,神经网络结构搜索(NAS)技术的提出使得GAN结构的自动优化成为了可能。但是,大多数NAS方法的搜索对象都是分类网络,而针对GAN的结构搜索目前研究非常有限。而GAN自身存在结构对其性能影响大、性能测试结果不确定性大、性能测试时间长的特点,这决定了在搜索对象为GAN时,NAS方法需要进行相应改造。因此,本文的主要工作是改进面向GAN的NAS方法。考虑到AutoGAN算法是面向GAN的NAS中的经典方法,本文的所有工作都在其上展开。考虑到AutoGAN算法忽视了前序单元中候选网络之间的性能差异,本文在AutoGAN算法的基础上提出了Improved AutoGAN算法。分析发现前序单元中候选网络的结构会影响网络的整体性能。因此,在结构搜索过程中,与随机选择前序单元候选网络的AutoGAN算法相比,Improved AutoGAN算法使用梯度Bandit算法进行选择,以增加选择高性能网络的概率。Improved AutoGAN算法还引入了温度系数,以防止搜索结果陷入局部最优。在CIFAR-10数据集上,使用与AutoGAN相同的搜索空间对GAN进行搜索,得到的GAN的FID值达到了11.60,超过了AutoGAN算法。且搜索结果具有理想的迁移性。考虑到AutoGAN算法的控制器易于受到误差较大的评价结果的干扰而引起搜索方向的偏离,本文在AutoGAN算法的基础上提出了Stable AutoGAN算法。首先证明了在控制器的训练过程中,使用随机采样代替依概率采样不会影响控制器的训练效果。在此基础上,通过多控制器模型增强了控制器的健壮性。在搜索过程中,各个控制器独立学习采样策略。同时,引入可信度得分用以衡量各个控制器的训练效果,并根据可信度得分决定各个控制器的使用频率。在CIFAR-10数据集上多次重复AutoGAN算法和Stable AutoGAN算法的搜索过程,发现Stable AutoGAN算法得到的GAN的FID值的标准差约为AutoGAN的1/16,且FID值与AutoGAN相似。考虑到AutoGAN算法搜索时间过长的问题,本文在AutoGAN算法的基础上提出了Efficient AutoGAN算法。指出了AutoGAN算法搜索时间长的主要原因在于候选网络性能的测试时间过长,而在不缩短测试时间的前提下,缩短搜索时间的关键在于减少测试次数。为此,引入了一个性能预测器用于预测候选网络的性能,以代替真实的测试过程。性能预测器的主体是图卷积网络(GCN),且融合了经嵌入操作处理的前序单元结构信息。实验表明,Efficient AutoGAN算法节省了近一半的搜索时间,且搜索结果的性能与AutoGAN算法相当。
其他文献
文章主要以调式研究为主线,结合传统的民族调式技法来分析两首艺术歌曲,探索其中的艺术价值。从两首音乐作品调式调性的使用情况出发,以实证研究的方式,阐明在两首作品中可能出现的转调手法进行研究。本文主要提出了以下几个观点:1、和弦的构造形式是人类在上百年音乐的实践中形成的,是纵向音乐思维的基本依据。对作品中比较特别的和声进行分析研究,阐述为什么在作品中会使用这样的和弦构造形式,在常见的和弦体系中,基本的
机器学习在进行攻击检测时具有自动化程度高、检测速度快、善于发现变异样本等优点。然而,在使用机器学习进行Web攻击检测时仍存在检测准确率有待提高和算法本身的安全隐患问题。准确率有待提高的主要原因是在特征提取阶段,若特征向量选择过多,会导致模型过拟合,并影响算法效率;若特征向量选择少,会产生大量的误报数和漏报数。算法安全隐患产生的主要原因是因为机器学习模型的训练集在数据采集和模型训练阶段易被攻击者利用
计算机技术迅猛发展,机器学习在生活中的应用场景越来越多。目前,很多机器学习算法依赖大量的标注样本训练才能完成分类任务,但一些珍稀动植物样本难以收集,于是有学者提出广义零样本学习问题。希望机器学习模型能像人类一样,通过学习已见过类的视觉特征和所有类的附加属性信息,能够实现对见过类和未见过类样本的分类。考虑到未标注样本和标注样本皆取自生活,分布相似,充分利用现实中的未标注样本对模型进行训练,能更好地应
日益增长和日趋复杂的信息传输需求驱动下,新一代移动通信系统技术应运而生,也就是5G。其中,大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)的技术能够满足各项指标要求。对于使用MIMO技术进行信息传输的,比如空间较充沛的自由度,能够依据较多用户相应的下行信号进行协作,以此来干扰偷听者的信号。基于此,利用Massive MIMO所带来的丰富的物理层信息来进行
如今越来越多的影视作品选择采用后期拟音的方式“创造”声音,拟音作为影视声音创作中不可或缺的组成部分,不论是在营造真实感还是在提升表现力方面,都起着至关重要的作用。笔者通过文献研究发现拟音是一门技术与艺术高度融合的技艺。技术是实现艺术构想的重要手段,但在已有的拟音研究文献里,涉及到创作思路和方法技巧的文献并不丰富。当创作者回归到创作本身,如何拟音、思路是什么、方法技巧有哪些才是指导拟音创作的关键。因
通过对德宏景颇族“树叶信”的研究及相关调研的展开,笔者对该文化产生了极为浓厚的兴趣,并结合所学的首饰设计内容,产生了总结“树叶信”情感内涵,提取设计符号元素,借助首饰设计进行情感化表达的想法。本课题通过对“树叶信”表意物及其语意的对照分析,对其中独特的情感内涵和文化价值进行剖析,从表意方法和制作方式上探寻“树叶信”设计符号元素的提取过程及设计实践的具体表现方法,结合情感化设计中基于人体感知系统的设
为了监督非正式部门的退休问题,国民保险信托基金会(SSNIT)的非正式部门养老金于2005年在加纳建立,这是为了使非正规部门的雇员能够根据基于三级养老金计划的《766号养老金法案》为其退休提供自愿捐款。但自成立以来,非正规部门雇员所给予的资助低于预期。本研究旨在明确影响非正规部门雇员决定加入该计划的因素,比较不同地区的决定因素,此外本文还将确定影响他们每月对该计划资助额的因素。本研究是为了通过宣传
循证医学是20世纪90年代在临床医学领域内迅速发展起来的一门新兴学科,是一门遵循科学证据的医学,它能够充分地应用当前所能获得的最好研究证据,结合临床医生个人的临床经验,给患者制定最佳的治疗措施。循证医学通过使用一种通用规范即PICO原则来解决实际的临床问题,它的主要内容包括患者/参与者(Patient/Participant),干预手段(Intervention),对照措施(Comparison)
传统的电容式压力传感器通常由硬质材料制成,在具有不规则表面的人体表面、机器人表面等难以进行信息的采集和传递。柔性电容式压力传感器可以很好的解决这个问题。本文制备了基于多孔PDMS/石墨烯柔性介电层的电容式压力传感器,并且在此基础上将Zn S:Cu2+与Li Nb O3:Pr3+力致发光荧光粒子结合到电容式压力传感器之中制备了基于力致发光粒子的柔性电容式压力传感器,并且研究了不同因素对器件性能的影响
目前,由于电池供电的传感器节点自身的储能不足问题日益严峻,致使无线传感器网络寿命缩短,性能降低,已经无法满足人们的需求。随着无线充电技术的发展,无线可充电传感器网络作为一种新型的传感器网络应运而生。目前,无线充电技术已被广泛应用于为无线可充电传感器网络补充能量。充电服务模型是无线充电技术商业化不可或缺的部分。然而,目前为止尚未出现较好的充电服务模型。本文从合作充电经济学的角度提出了一种全向无线充电