人脸图像和视频生成是计算机视觉的热门研究课题,具有广泛的应用场景。语音驱动的人脸视频生成针对输入语音信号和人物身份进行建模和控制,生成嘴部动作和语音相对应的人物面部视频。如何生成口型-语音同步,且面部表情自然的高质量视频是人脸视频生成的主要挑战。本文提出了表情定制的生成对抗网络和基于循环训练的表情变化网络。此外本文考虑视频和语音信号的互信息最大化,从语音信号中提取情绪作为表情驱动。本文的主要研究工作如下:1)本文提出基于编码-解码结构的表情定制生成对抗网络(ET-GAN),以生成具有不同自然表情的人脸视频。ET-GAN中的表情编码器和光流判别器分别用于提取人物表情特征和确保视频质量。表情编码器提取输入人脸短视频中的表情信息,并将该表情应用在另一个人物身份,使得另一个人物身份也表现出相同的表情。光流判别器针对生成的视频序列判别其是否连续,避免面部畸变。在CREMA-D和GRID数据集上进行实验分析,取得了优异的效果。2)本文提出基于循环生成对抗的视频表情变化网络(EA-GAN),与ET-GAN不同,EA-GAN不再需要额外人脸视频作为表情驱动,仅使用one-hot向量即可实现多个表情域之间的转换。EA-GAN利用对比损失,强迫人物口型变化的视觉特征和对应语音特征位于同一特征空间,解决了该无监督任务中口型和语音不匹配的问题。在CREMA-D数据集上表现出灵活的表情变化效果。3)本文提出基于互信息最大化的表情定制生成对抗网络(MIMET-GAN)。由于语音信号潜在的情绪信息和人脸表情视觉信号的表情信息存在密切联系,MIMET-GAN中的互信息估计器最大化视频表情特征和语音情绪特征之间的互信息,实现同一个网络可以同时使用视频或语音作为表情驱动,从而生成语音信号相关的自然表情人脸视频。在CREMA-D数据集上证实了该方法的有效性。