论文部分内容阅读
近年来,以实数卷积神经网络(Convolution Neural Network,CNN)为代表的判别式模型取得了很多突破性的进展,最近有研究人员将卷积神经网络从实数域扩展到复数域提出了复数卷积神经网络,得到了比实数卷积神经网络更好的性能;另一方面,以实数生成式对抗网络(Generative Adversarial Networks,GAN)为代表的生成式模型也得到了国内外研究人员广泛关注。GAN在结构上是由一个生成器和一个判别器组成。目前大部分研究人员用实数卷积神经网络构造生成器和判别器。本文主要探索了用复数卷积神经网络作为GAN的判别器,并且不断优化GAN的生成器以减轻生成器和判别器参数不匹配的问题,从而构造出性能更好的复数生成式对抗网络。本文的主要研究内容如下:(1)复数生成式对抗网络的构建。本文在深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)的基础上,构造了第I种复数生成式对抗网络;在条件生成式对抗网络(Conditional Generative Adversarial Nets,CGAN)的基础上,构造了第II和第III两种类型的复数生成式对抗网络。首先,我们将DCGAN中的生成器保持不变,将判别器中的VGG网络替换成复数深度卷积残差网络,该复数深度卷积残差网络是介于宽浅型与深窄型之间的中间型的模型结构并且以?ReLU作为复值激活函数。通过这种方式得到的网络我们称为复数生成式对抗网络I型;其次,针对复数生成式对抗网络I型中出现的生成器与判别器不匹配和DCGAN中判别器建模太过自由的问题,本文提出将Inception+Residual结构的残差单元代替普通实数卷积神经网络用于CGAN网络生成器的构造,我们称之为复数生成式对抗网络II型;最后,为了进一步提高图像生成的质量,我们借鉴自然语言处理领域中的视觉问答(Visual Question Answering,VQA)系统的条件批量归一化(Conditional Batch Normalization,CBN)思想,提出了类别条件归一化方法(Categorical Conditional Batch Normalization,Cat_BN),使用Cat_BN替换标准的批量归一化(Batch Normalization,BN),以Cat_BN模块和残差单元为基础构建了GAN的生成器,判别器与复数生成式对抗网络II型相同,构建的网络称为复数生成式对抗网络III型。通过与实数生成式对抗网络的对比实验,验证了提出的复数生成式对抗网络的有效性。(2)带自注意力机制的复数生成式对抗网络的构建。针对GAN在多类别数据集的某些类别上难以建模的问题,将自注意力机制应用在GAN的生成器和判别器中,构建了带自注意力机制的复数生成式对抗网络。实验结果表明,在GAN中添加自注意力机制是有效的,并且将自注意力层应用在高级特征图的位置效果更好。随后设计了用相同参数量的残差模块替换自注意力模块的实验,结果验证了在GAN中添加自注意力机制带来的性能上的提升不仅仅是由模型深度和容量的增加所导致。针对GAN训练不稳定的问题,将谱归一化(Spectral Normalization,BN)和双时标更新规则(Two Time-Scale Update Rule,TTUR)两种稳定训练的技术应用于提出的带自注意力机制的复数生成式对抗网络中进一步提高了图像生成的性能。