随着人工智能的蓬勃发展,生物特征识别技术如面部、虹膜、指纹和语音等在我们日常生活中也得到了广泛的应用。其中特别是人脸识别技术和说话人识别技术,它们有着高用户接受度且取样成本较低的优势,在各个移动设备上的使用也变得很常见。但是在实际应用中,视听识别很容易受到现实世界里各种复杂场景的影响,如综艺、采访、唱歌、电影和电视剧等。它们包括有说话人识别中的多人混合说话、远近场导致的声音不清晰和环境噪声等问题,人脸识别中的多人脸、侧脸或遮挡以及环境光线等问题。现在的研究有一种有效的方法可以解决这些问题,即结合和利用两种模态的信息进行互补,融合多模态信息进行身份验证任务。基于以上情况,本文从自然真实场景出发,结合说话人识别和人脸识别技术来进行音视频多模态的身份验证研究。本文的主要研究内容和创新工作如下:（1）数据集建设。目前还没有具有多个复杂场景的音视频多模态识别数据集,无法探知在真实场景下的识别性能。本文提供了一个在线的数据采集平台,构建了一个用于多模态生物特征识别的视听数据集,包括250个目标人来自11种不同场景的3485个视频,这11种场景中包含有多个复杂场景,这些视频被切分为316832个完全平行的音频/视频片段。该数据集能对多模态生物特征识别任务提供比较高的研究价值。（2）说话人验证和人脸验证任务研究。基于已有的MOBIO、MSU-AVIS、Ave Robot、Vox Celeb1和本文建设的CN-Celeb3数据集,结合当前性能先进的说话人识别和人脸识别模型,进行单一模态下的说话人验证和人脸验证任务,两个任务使用的验证对是完全平行的。说话人验证任务使用的基线模型是ECAPATDNN,而人脸验证任务中人脸检测使用的模型是Retina Face,人脸识别使用的模型是Arc Face。实验结果表明,在场景单一的数据集如MOBIO和Vox Celeb1中,等错误率（EER）都极低,均低于2.5%。MSU-AVIS数据集的视频模态信息损失较音频模态更为严重,Ave Robot数据集的音视频模态信息损失都很严重。而拥有多复杂场景的CN-Celeb3数据集在说话人识别和人脸识别任务上的结果EER分别为19.72%和15.43%,这说明该数据集相关模态信息保留较为完善,具有很高的研究价值。（3）音视频多模态身份验证任务研究。基于两种单一模态下各个数据集的验证打分,采用三种不同的权重选取方式从分数域上对两个模态进行融合。实验结果表明,在本研究使用的所有数据集中,分数融合都能使结果有一定的提升,这说明多模态分数融合工作在身份验证研究中确实能取得有效的性能提升。而在CN-Celeb3数据集中的EER结果,在使用最大值融合方法之后,能够提升到8.96%,证实了模态融合可以有效的进行信息互补。