生成对抗网络(GAN)模型优化方法研究

来源 :武汉大学 | 被引量 : 3次 | 上传用户:xsb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虽然生成对抗网络(Generative Adversarial Network,简称GAN)已经被广泛应用于很多实际领域,但是GAN仍然存在缺陷导致无法生成高质量的模拟数据。虽然当前GAN的变体尝试解决这个问题,但是他们在实际运用中仍然存在不少问题。现存的GAN的变体或存在梯度负数(如WGAN)或者生成的数据仍然存在相同图片或者图片模糊等问题(如MGAN)。本文研究的对象主要是在三个方面,即如何解决GAN小样本生成及评估问题,如何解决GAN存在的模型崩溃和梯度消失问题。(1)本文提出了一个新的规范化惩罚函数来迫使生成器生成带有极小异常点的负样本,以及将Droupout函数和生成器融合以此生成高维稀疏数据。另外,针对不同领域数据特点,本文设计了不同的生成数据评估模型。首先,本文研究了如何把GAN应用在小样本数据(包括工业领域的布匹和气缸缸体数据以及医疗领域的癌症基因数据)。这两个数据的共同点是可用数据搜集十分昂贵,这就导致很难在实际工作中训练一个机器人去替代人的工作。不同点是,工业领域中的数据属于imbalanced dataset,即不平衡数据。其意味着次品数量非常少而正品数量非常多。另外,工业领域中的次品和正品的最大区别是由于机器原因每个次品仅仅有一个占比很小的异常域(异常域/整张图片≈1/2000)。因此本文将此类数据集称为extremely imbalanced dataset,我们称之为极不平衡数据。而传统的不平衡数据里,以DCGM数据集为例,其属于不平衡数据,异常域占比约为≈1/23。对于极不平衡数据来说,传统GAN及其变体很难生成那个占比很小的异常域。为了解决这个问题,本文设计了一个新的约束函数,即将异常域和从生成图片里截取同样大小面积物的差值融入到GAN训练之中,去迫使生成器G生成带有异常域的样本。另外,为了评估生成数据是否可以作为真实数据的补充,本文采用Faster-RCNN作为评估模型。其次,对于癌症基因数据来说,一般将其视为一个高维的稀疏数字矩阵。如本文研究的卵巢癌数据,其特征数量达到9850而病人却只有372个。另外,癌症数据不同于其余领域的数据,其主要有两部分组成。第一个集合是基因数据集,主要是医生利用DNA检测技术确诊病人患病,第二个集合是病患对应的临床数据,主要包含了每个病人的生存状态和存活时间。在基因数据集里,每一列代编一个基因组,如果观察到某个病人对应的基因组发生变异则对应值为1,否则为0。因此,其对应的数据密度为0.6%。本文将探究如何利用GAN生成具有稀疏特性的模拟数据,并探究如何利用Network-based Stratification和KaplanMeier算法评估生成的稀疏模拟数据。(2)针对GAN梯度消失问题,本文构造一个含有原始数据分布的随机空间,并从此空间进行采样去合成新数据。本文研究了如何解决GAN梯度消失问题。当GAN训练的时候,GAN的损失函数(loss function)只是确保了生成器(generator)可以被训练为一个映射函数,其作用是把一组噪音(noise)从随机空间(randomized space)映射到原始数据空间(original data space)。为了衡量转换后的数据和真实数据的距离,GAN利用Jensen-Shannon divergence(简称为JS-divergence)来测量生成数据和真实数据的相似度。其值越小,则代表生成的数据越和原始数据相似。但是,当生成分布和原始数据的分布在映射空间不存在覆盖区域(overlapping area)时,JS散度是个常量,无法反映两个分布的真实距离。为了确保解决这个问题,本文设计了一个带有原始数据特征信息的噪音分布。考虑到噪音分布是包含在生成数据的分布里,因此在GAN训练的过程中可以避免出现可以忽略的覆盖域。具体是,本文采用Non-negative matrix factorization(NMF)对原始数据进行分解得到基矩阵W,然后从(0,1)均匀分布采样噪音,并将此基矩阵W和噪音进行融合形成新的输入。生成器G将此新的输入转化为模拟数据。本方法在MNIST(1×28×28),CIFAR10(3×32×32)和Celeba(3×128×128)数据集上验证了提出的方法的有效性。(3)针对GAN模型崩溃问题,本文雇佣多个生成器,并利用互信息技术迫使这些生成器互斥地学习数据的不同流形,使得生成的数据多样性丰富本文研究了如何解决GAN的模型崩溃问题。一般来说,真实数据拥有一组离散的流形。而GAN模型往往只能学到几个甚至一个真实数据的流形,因为损失函数(loss function)只是保证了GAN生成了以假乱真的模拟数据。至于模拟数据的质量则没有考虑。因此,为了实现GAN可以学习真实数据的所有流形,本文提出了multi-generator mutual information GAN。采用互信息(mutual information)是用来防止生成器(generator)去学习同一个流形。因为我们期待不同的生成器去学习不一样的流形。为了可以同时训练多个网络(generators和discriminator),本文重新设计了minimax formula。另外,为了评估生成数据的多样性,本文采用最大均方差(Maximum Mean Discrepancy,也称之为MMD)来计算生成数据和原始数据的相似度。相关实验结果验证了提出的方法的有效性。最后,本文将对提出的方法进行详细讨论,并分析各种评估方式的优点和不足之处。
其他文献
研究背景谷氨酸兴奋性中毒是多种神经退行性疾病如青光眼、糖尿病性视网膜病变等的致病机制之一。尽管谷氨酸是神经系统常见的神经兴奋性递质,但是一旦谷氨酸的含量过多,过量的谷氨酸聚集在细胞外,大量激活NMDA受体,引起离子通道的开放,钙离子大量内流,线粒体肿胀,细胞功能紊乱,产生各种凋亡信号分子,引起细胞凋亡。RGC上有NMDA受体,对谷氨酸敏感,因而过量的谷氨酸会造成RGC的凋亡。而RGC是唯一能将视觉
肿瘤被认为是威胁人类公共健康重大疾病之一。近年来,肿瘤免疫治疗是一种新兴的治疗策略并取得了突破性的进展。肿瘤免疫治疗旨在激活免疫细胞,调节免疫系统来抵抗肿瘤。在临床上,几种免疫治疗剂已用于肿瘤治疗。但是,免疫治疗的广泛应用仍存在很多问题。例如,T细胞难以进入到实质肿瘤中、肿瘤微环境对免疫细胞功能的限制和活性的降低、靶抗原表达缺失等。总之,这些因素限制了参与肿瘤治疗的免疫细胞数量和活性。而纳米材料凭
有机合成化学是人类社会的物质支撑,人们生活的方方面面都与合成化学的发展息息相关。传统的交叉偶联反应往往需要对底物预官能化处理,而在氧化条件下直接实现R1-H/R2-H的脱氢偶联反应无疑是非常理想的反应模式。电化学有机合成历史悠久,最早可以追溯到十九世纪三十年代,近些年来,有机电化学合成方法学迎来了蓬勃发展。电化学氧化可以通过调控阳极氧化电势实现底物分子或氧化还原介质在电极表面的活化,无需加入额外的
本文主要介绍新的非交错中心格式(NUCS格式)、修正静水重构格式(MHR格式)、水面重构格式(SR格式)、和界面静水重构格式(IHR格式)求解浅水及其相关的双曲型偏微分方程组的初边值问题。NUCS格式与MHR,SR和IHR格式都属于有限体积法并且MHR,SR和IHR格式都属于迎风格式。非交错中心格式与迎风格式的核心区别在于:迎风格式需要近似的或是精确的黎曼求解器来定义数值通量函数,非交错的中心格式
质子交换膜燃料电池(PEMFC)具有结构紧凑、能量转换效率高、零排放等优点,近年来得到快速发展,但由于其使用昂贵的Nafion膜以及Pt基贵金属催化剂,该类燃料电池造价高昂,大规模应用受到严重限制。碱性聚电解质燃料电池(APEFC)的工作环境为碱性,理论上其核心组件均可使用较为廉价的材料,为降低燃料电池的造价提供了可能。目前,APEFC的发展面临许多重要挑战,其中亟待解决的关键问题是发展高性能的全
祭文是礼仪活动中人与鬼神互动的告祝文本,在历史发展中逐渐以表达情感或思想主张见长,兼具礼仪功能和文学价值。论文以明清时期的祭文为研究对象,通过对明清祭文的文本整理、分析,深入到礼仪文化与各社会阶层的历史和内涵之中。在传统文学研究基础之上,侧重发掘明清祭文所具备的社会、思想价值。根据祭文的功能与对应的社会领域,划分出国家礼仪祭文、儒家士人祭文、民间祭文等类型,主要探讨明清时期祭文所反映的社会思潮或历
基因组的不稳定性与发育缺陷、过早衰老、慢性病、癌症以及抗感染能力下降均具有密切的关系。因此,保证基因组的稳定性对于维持人类健康具有重要的作用。人体内或者所生存的外部环境中存在着各种各样的不利因素使细胞内基因组DNA发生不同类型的损伤,比如双链和单链断裂、碱基损伤等,进而导致基因组不稳定。DNA断裂位点精准、高效的修复对于保证基因组稳定性具有非常重要的作用。在生物体内,DNA双链断裂(DSBs)是最
人群定向是通过对用户的行为,找出具有共同特征的潜在用户集合。为了能够帮助企业或广告主挖掘社交网络中潜在用户,本文针对复杂的社交网络关系,进行了不同网络拓扑结构下的潜在用户挖掘研究。本文针对复杂网络的不同拓扑结构,分别就基于用户行为关系网络、基于位置与行为关系的网络和基于兴趣标签与行为关系的网络中的用户挖掘进行了研究,主要研究内容包括:1.基于行为关系网络的用户挖掘,本文重点研究了基于多种行为关系的
当前随着全球经济一体化的发展,越来越多的跨国企业开始将目光放到国际市场上,其通过在海外其他国家中设立子公司或跨国并购的方式来进行海外扩张,从而在国际市场上打造竞争优势。当前,企业的这种海外扩张行为得到了学术界和商业界的广泛关注。即使是对于跨国企业来说,他们绝大部分的生产经营活动却依旧是在母国市场中完成的,也就是说跨国企业具有很高程度的母国足迹。而跨国企业在母国市场上的经营情况是否能够对其后续的海外
胚胎是一个新生命的开始,胚胎发生和发育受到极其严格且精细的调控,以保证传宗接代正常进行。无论动物还是植物,胚胎都被母体组织层层包裹,多年来的研究揭示了胚胎发育过程中周围母体组织形成的微环境对胚胎发育至关重要,特别是早期胚胎发育极其依赖于这种微环境所传递出的发育信号。对动物胚胎的研究表明,母体-胚胎间存在着复杂的信号交流。母体组织发育缺陷或母源性信号分子异常会导致胚胎发育异常或胎源性疾病。植物胚柄连