随着深度学习的快速发展和计算能力的不断提高,条件式视觉内容生成技术蓬勃发展并取得了许多瞩目的科研成果,在火热的泛娱乐、元宇宙和虚拟人等领域具有极大的应用价值。然而,受限于当前技术与高标准应用需求之间的差距,生成模型在效率和易用性等方面有待进一步提高,且如何通过给定的条件输入（如图像,音频,运动信息等）生成高质量且合理的视觉内容仍是当前面对的棘手问题。本文聚焦基于深度学习的条件式视觉内容生成技术,按照对信息理解程度逐渐升高的原则,由浅及深地对不同层次的问题进行分类总结并展开具体研究。一方面,低层次的图像像素级任务核心关注局部结构感知及分布预测问题,面临的最大挑战是如何生成合理且高质量的图像,以及设计高效的模型来支持各种终端应用。另一方面,高层次的图像语义级生成任务不仅需要理解图像中的语义信息,同时对高分辨率、高精度生成模型研究及训练优化提出了极大挑战。尤其过渡到视频生成任务中这些难点愈发凸显,且需要额外地对时序合理性及生成多样性进行建模。针对上述挑战,本文研究典型的图像上色和超分辨率任务,以期从低层次的感知中生成更高质量的视觉内容;以及语义层面的人脸换脸、人脸驱动和图像动态化任务,以期从高层次的理解中可控地生成更丰富的图像和视频。本文的研究内容与主要创新点如下:1.从局部结构感知的图像增强出发,本文针对图像上色和超分辨率问题展开研究,提出了一种高效的联合图像上色和超分辨率端到端框架,设计了金字塔阀控交叉注意力模块以支持自动和参考两种上色模式,不仅能更好地理解并聚合参考图像的颜色信息,同时具有较强的解释性。此外,本文针对任意倍率图像放大应用需求提出了连续像素映射模块,使用更少计算量的同时提升了模型的预测精度。2.从多条件受限的图像纹理语义迁移出发,本文针对人脸换脸问题展开研究,提出了一种基于区域注意力感知的换脸方法以对人脸进行更精细的建模,其包含新颖的面部区域感知的局部分支和源特征适应的全局分支:前者通过引入全局注意力机制来有效地建模不重合的多尺度面部语义交互,而后者补充全局身份相关的线索来进一步保证生成图像的身份一致性。此外,本研究提出了一种无监督人脸软掩膜预测模块,进一步提升了模型的准确性与实用性。3.从多条件受限的图像几何语义编辑出发,本文针对人脸驱动问题展开研究,提出了一种基于人脸几何和纹理信息解耦思想设计的多人脸驱动模型,其包含一个精心设计的人脸关键点转换器分支以在几何空间上进行不同身份的面部运动迁移,以及一个几何感知生成器分支生成人脸驱动图像,在保证图像生成质量的基础上实现了多人脸驱动任务目标。同时本文将该框架扩展到了音频多人脸驱动任务,设计了音频特征融合器和几何控制器模块分别进行音频特征提取及高效注入,并提出了一个高质量的Ann VI数据集以支持高分辨率的音频人脸驱动研究。4.从运动约束下的图像序列生成出发,本文针对图像动态化问题展开研究,基于运动和纹理解耦的思想设计了端到端的动态视频生成框架,其包含光流编码器模块和双分支动态视频生成器:前者将表示视频运动的光流信息编码为归一化向量,同时可通过随机运动向量采样的推理方式实现多样化的视频生成;后者在运动向量的控制下基于单帧输入图像生成合理的目标动态视频。此外,针对当前延时视频数据集质量较差的问题,本研究提出了大规模的高分辨率QST数据集来支持该任务的持续研究。针对以上研究内容和成果,本文在多个主流数据集上进行了大量的实验评估,证明了所提方法的有效性和优越性,在基于深度学习的条件式视觉内容生成领域取得了出色的研究成果,同时提出的部分算法模型已用于商业产品中,具有较大的应用价值。