图像合成是使用某种形式的图像描述信息生成真实感图像的过程,基于深度学习的图像合成方法使用现有数据集训练深度网络学习合成对应图像的方法。而U-Net是深度学习中一种常用的卷积神经网络结构,主要用于医学图像分割。本文将U-Net应用于图像合成领域,并针对U-Net在图像合成应用上存在的缺陷进行了相应改进。本文的研究内容如下:首先,为了增加网络的参数容量,本文将DenseNet中的密集连接结构与ResNet中的残差结构引入到U-Net中,并结合两者提出了密集残差模块。通过引入密集连接和残差结构,U-Net的网络参数容量得大幅提升,网络中特征图的利用率得到了提高,网络可以学习到更多特征,生成更具细节的图像,同时也保持了网络的训练与预测效率。其次,为了提高卷积神经网络合成图像的质量,本文使用缩放卷积替换了U-Net中使用的转置卷积。U-Net中使用转置卷积对特征图进行升维,但转置卷积会对合成图像的质量造成一定影响,导致合成图像中出现不同程度的棋盘格状伪影。本文中使用的缩放卷积在一定程度上消除了合成图像中存在的棋盘格状伪影,提升了合成图像的质量。接着本文结合感知损失与Smooth L1损失函数通过有监督学习的方式对网络进行训练,使用感知损失可以使得网络学习到物体的抽象特征,而Smooth L1损失又可以对合成物体的细节,如颜色等,进行一定的限制。最后本文共进行了从语义图像到真实感图像和素描图像到真实感图像的两类实验,在Cityscapes,ZuBuD和CelebA三个数据集上的实验表明,在复杂的图像合成任务上,本文所提出的优化网络(IUNs)与CRNs相比在效率上有着明显优势,在合成图像的质量上也略优于CRNs,IUNs所合成的图像比U-Net所合成的图像具有更丰富的细节,且合成图像中的物体更加完整。而在简单的合成任务上,IUNs的表现与U-Net相近,但IUNs所合成的图像质量更高,合成图像中存在的瑕疵更少。综上所述,本文所提出的改进网络在合成效率与合成图像质量上达到了较好的平衡。