本论文的研究目标是利用一段简短的说话人语音从中生成与说话人真实面孔相似的人脸图像。为了解决该跨模态学习任务,本论文设计了一个端到端的深度神经网络以自监督的方式学习从语音到人脸的抽象映射,论文将模型分为两个部分,在第一部分中通过语音特征提取网络从说话人的语音频谱中提取低维的人脸特征,在第二部分中通过人脸特征解码网络将人脸特征还原为人脸RGB像素图像。由于说话人视频形式的数据自带有说话人语音以及对应的人脸图像两种模态,可以作为人声画像模型的输入与对应训练标签,论文以自监督的方式从视频中学习语音到人脸的抽象映射。论文在此基础上提出了一种新的映射策略,在映射中加入了先验信息,让深度神经网络学习说话人与先验人脸特征之间的差异,降低了网络的学习难度,提高人声画像模型的效果。论文在实验中使用了大规模的AVSpeech外国人视频数据集[1]作为训练集与测试集进行模型的训练测试,并将实验推广到特定人群的数据集上,在小规模的中国人视频数据集上也进行了训练测试。论文在实验中联合定性与定量评价标准,对实验结果进行了评估,结果表明论文提出的人声画像模型能够从语音中生成与说话者的真实面部相似的人脸图像。