音频驱动的说话人脸生成旨在使用任意一段语音和目标人物的人脸图像生成该人物的说话视频。这项技术可以应用于游戏制作、虚拟主播、线上教育、电影编辑等场景。然而,由于缺乏高分辨率的视听数据集,目前的研究方法不能有效合成高分辨率的说话人脸视频,针对任意身份人物生成的唇部运动与音频同步程度并不高。此外,现有的方法注重于脸部质量和唇音同步,所生成的视频中头部姿势是固定的,忽略了头部运动的自然性。针对以上问题,本文对说话人脸生成技术开展研究,主要研究工作以及创新点如下:一、提出了一种基于唇音同步的高清说话人脸生成算法,以生成高分辨率、唇部动作与语音同步的说话人脸视频。首先,本方法的高清人脸生成网络根据输入信息生成与音频对应的说话人脸图像,然后采用人脸重建模块对生成图像进行超分辨重构来恢复图像的脸部边缘和纹理细节。同时,通过双注意力机制的唇音同步判别器来准确判断生成图像中嘴部动作与音频的同步程度,使用提前训练好的唇音同步判别器监督高清人脸生成网络生成准确的唇部运动。通过实验证明了本方法能够有效生成唇音同步的高清说话人脸视频。二、提出了一种基于三维人脸模型的说话人脸生成算法,针对生成的说话人脸视频中头部运动不自然问题进行了改进。该方法采用三维人脸模型对人脸图像进行三维重建,用参数表示脸部形状、表情、姿势等信息。该方法还使用了一种基于时延的长短时记忆网络的语音特征提取网络从音频中预测出表情参数和姿势参数,再与图像的人脸参数相结合生成新的三维人脸。然后将该三维人脸和背景融合后的图像输入到人脸图像生成网络中进行渲染,输出的人脸图像与真实图像通过判别器进行对比,最后生成高质量的说话人脸图像。实验结果表明,输入不同的音频,该方法都可以生成头部运动自然的说话视频。三、构建了一个高清中文视频数据集,其中包括五位新闻主播,共4600个视频段,总时长约为530分钟。该数据集是从公开的高分辨新闻视频中挑选裁剪的,有着背景噪音小、主播发音标准和姿态端正等特点,适合于说话人脸生成任务。