身份识别技术已经在人们日常生活中得到了很多的应用,一直是人机交互和人工智能领域的热点研究方向。其中,在无约束的环境下的大规模身份识别任务是一个极具挑战性的难题,利用多模态学习结合深度学习的方法解决大规模身份识别问题是一个很有效的解决方法,关键在于构建一个合理的框架融合各种不同的模态信息,并提升算法的分类能力,这种融合框架可以是基于决策层或是特征层的。同时还需考虑如何高效地提取不同模态信息的有效特征。在传统的方法中,通常都是基于某种单模态特征进行身份识别的,如人脸特征、语音特征或指纹特征。这些传统的方法应用到真实无约束环境下都会出现识别准确率不高的问题。通过阅读和对比国内外大量的文献资料和实验结果,都说明了单一模态的身份识别算法在应用到不同场景时存在着很大的局限性,基于多种模态信息的身份识别算法在不同场景中都要优于基于单种模态信息的身份识别算法。本文所采用的基于多模态信息融合策略的身份识别算法,在融合框架下将人脸信息、头部信息和语音信息进行结合,提升算法的识别准确性和鲁棒性。本文的研究内容主要有以下几个方面:1.在数据集处理方面,数据集的好坏直接影响最后的结果,根据对原始数据的分析结果进行数据清洗,使用评价模型对数据内容进行评分,制定筛选原则对数据进行筛选,剔除信息含量少的数据,只保留信息量多的数据,降低数据集中的噪声,提升模型训练效果。2.在特征提取方面,需要从人脸信息、头部信息和语音信息中提取有效的特征,选用不同的人脸和头部检测算法获取人脸和头部的图像数据,然后使用Arc Face模型提取人脸和头部图像的特征,同时将语音信息以44100Hz的采样频率将音频转换为单通道16位的数据流,通过512点的快速傅里叶变换(FFT)获得频谱,不使用归一化处理,最后通过Rest Net模型提取语音特征。3.在融合算法构建方面,提出一种能融合多种单模态信息以及能完成在真实无约束环境下大规模身份识别的算法,构建基于特征层和决策层的融合框架,通过人脸质量评价模型获得质量分数以及从人检测模型获取置信度分数,利用两种评价分数计算权重,利用此权重构建一种能融合多种模态特征的融合策略,提升算法的鲁棒性和准确性。4.在解决大规模分类问题方面,提出一种能应用在身份识别领域使用的解决方案,以人脸质量评分划分不同的区间,并重新构建子数据集。通过子数据集训练多个分类器,再使用统计学的方法融合多个分类器的输出结果。对提出的多模态信息融合策略进行测试,并与单模态及其他多模态融合方法作对比,使用公开的数据集做测试,采用平均精度均值(MAP)作为评价标准,得到的准确率为92.17%,比目前表现最好的多模态身份识别算法的识别准确率高2.47%。对各组实验进行分析和对比,结果表明所采用的利用多种单模态信息的融合策略在解决大规模身份分类问题上是有效的。