音频和图像是人类最常用的两种信号传输模式,随着科技的发展,单一模态已经不能满足应用需求,跨模态研究让语音-人脸画像技术成为可能,因跨模态特征之间的表达方式不同,该技术仍然具有很大的研究潜力。本文运用机器学习技术,结合统计学、生物学等学科基础理论开展跨模态研究,挖掘语音与人脸之间的关联性,根据任意给定的说话人语音片段匹配相对应的说话人面部图像,并构建基于语音的多角度人脸生成模型,实现对说话人的语音画像。主要创新和工作包括:首先,提出基于PSO-CNN网络的语音特征编码模块。针对传统的MFCC特征提取方法无法对非声学特征进行精准过滤的问题,通过粒子群算法对卷积神经网络进行改进,在池化时序特征的同时优化网络训练速度,建立语音特征编码模块。该模块对所需语音特征进行提取和编码,最终实现了语音高维特征的输出。其次,提出基于残差网络的面部特征编码模块。面部编码的作用是从人脸图像中提取特征向量,通过迭代训练优化特征表示;在残差网络的基础上构建面部特征编码模块的方法可以对面部特征进行有效提取,加强特征间的信息共享,通过迭代训练过程生成更好的特征表示。通过反卷积将提取的面部特征可视化,对面部特征提取质量进行评价。再次,改进了一种基于残差结构的特征匹配模块,实现语音-人脸画像。跨模态特征匹配将语音和人脸关联起来,对编码后的两种特征进行拼接整合,训练网络学习拼接特征的相似度,最终达到通过语音特征在多个面部特征中成功匹配到正确面部特征上的目的。最后,通过周期隐式生成对抗网络实现单视图人脸图像的多角度图像生成。由于单视图人脸图像的特征表达并不全面,在语音画像的基础上对二维人脸图像进行多角度人脸生成,可以获得人脸的多角度视频信息和图像信息。文中尝试通过神经辐射场对二维图像进行建模,经由生成对抗网络生成多角度人脸。