风格迁移是一个图像合成问题,其中一幅图像的内容与另一个图像的风格合成新的图像。风格化的图像或视频在内容结构上是内容图像的展现,在风格展现上则是以艺术绘画的形式。风格迁移结果的评价指标包括效率、灵活性、质量等。效率是指每个风格化结果的产生所消耗的时间,灵活性是指训练的模型可以处理的数据量,质量则是从风格信息出发,以不同的角度来评估产生的结果。本文主要针对图像和视频风格化的结果质量进行深入研究,从结果的结构保存方面进行改进。目前针对图像风格迁移的灵活性和效果的研究有了显著进步,然而现有的方法通过高层次特征提取获得高质量的风格化结果,容易导致风格化图像发生扭曲、内容结构不清晰及边界模糊失真。为了解决上述问题,本文提出一种结构保留的任意风格迁移网络。通过改进的边缘检测网络指导风格迁移实现,成功抑制风格化结果结构扭曲并同时保留语义内容。同时,引入全局内容损失和局部区域结构损失,通过不断迭代处理、优化参数,加强网络对图像特征之间的学习,保证结构完整性及局部细节保留。本文提出的方法不仅对于保存细节的任意的风格迁移有效,而且对于真实场景和曝光场景下的图像处理也都适用。针对目前视频风格迁移领域视频帧结构保存、防止结构扭曲导致用户难以辨认以及视频闪烁、伪影等问题,本文提出一种新颖的视频风格迁移网络。首先,对于视频帧的结构保存问题,本文继承了图像风格迁移的网络,利用自适应实例化,对视频帧进行特征空间的均值与方差的匹配,并利用边缘特征作为指导完成视频帧处理。其次,针对视频画面闪烁、伪影严重等问题,并确保时空一致性,实时生成时间上连贯的风格化视频序列。本文提出了长期、短期时间损失函数对视频帧进行学习,探索视频帧之间的相干性。实验结果表明,本文的方法能有效地实现具有稳定结构的视频风格迁移效果。