跨域图像转换是指将某一图像域的图像转换为另一图像域中的图像,同时保持图像内容不变。而人脸漫画生成可以看作跨域图像转换的一个典型应用,即将人脸照片图像转换为人脸漫画图像,同时保持人脸身份一致。本文围绕这两个任务,针对跨域图像转换中的精准类别保持问题以及人脸漫画生成中的形变多样性问题展开研究,并提出了跨域对抗自编码器和多形变生成对抗网络来解决这些问题。跨域图像转换是计算机视觉领域的基本任务之一,随着深度神经网络的发展,许多基于深度神经网络的跨域图像转换方法应运而生。然而这些方法普遍存在一定的局限性。一方面,现有方法大多将跨域图像转换作为一对一的映射来建模;另一方面,现有方法在图像转换过程中通常将图像的所有形状结构作为内容保持不变,而只改变图像的色彩纹理风格。针对这一问题,本文第一项工作关注面向精准类别保持的跨域图像转换问题,并提出了跨域对抗自编码器(Cross-Domain Adversarial Auto-Encoder,CDAAE)。CDAAE假设图像可以被分解为内容编码和风格编码,其中不同图像域共享内容编码,而风格编码各自独立,从而使模型能够模拟多对多的映射关系。另外,CDAAE假设内容编码服从类别分布,并通过半监督的方式进行训练,使内容编码器能够捕获图像的精准类别信息,进而实现更好的精准类别保持效果。实验表明跨域对抗自编码器在跨域图像转换中能够实现更好的图像多样性和精准类别保持准确性。此外,本文还基于跨域对抗自编码器设计了一种领域自适应算法,并在标准数据集上取得了业内领先的准确率。人脸漫画自动生成方法的研究由来已久,无论是传统方法还是基于深度学习的方法都吸引了大量的研究关注。对人脸形状进行形变夸大是人脸漫画生成中的关键,现有方法通常只从突出人物的个性化特点方面来对人脸形状进行夸大。然而,真实漫画图像中丰富多样的艺术形式和情感色彩造就了其形变风格的多样性。因此,基于第一项工作中图像具有共享的内容编码空间,以及相互独立的风格编码空间的假设,本文第二项工作关注人脸漫画生成中的形变多样性问题,并提出多形变生成对抗网络(Multi-Warping Generative Adversarial Nets,MWGAN)。本文的方法通过风格转换和形变夸大两个步骤来实现人脸漫画的生成,并分别通过风格编码和关键点转换编码来控制生成图像的色彩纹理和形变风格,从而使模型能够根据同一输入照片生成不同色彩和形变风格的漫画。同时,MWGAN还通过双向结构设计来使模型学习编码空间与图像之间的双向映射关系,从而使产生的色彩和形变风格更加合理逼真。另外,为了保持生成漫画与照片的身份一致,MWGAN还同时在图像空间和人脸关键点空间使用了人脸识别损失来训练模型。实验结果表明MWGAN能够根据同一输入照片,生成多种色彩和形变风格的漫画,且生成漫画的质量也高于现有方法。