针对单模态的说话人识别和人脸识别在准确率,应用的限制性和局限性等方面的缺点,本文从信息融合的角度出发,在特征层将两种单模态信息进行融合,实现音频信息和视频信息双模态特征融合的身份识别。本文首先就单模态的说话人识别和人脸识别进行了分析。结合VQ和SVM识别模型各自的优点,实现了一种基于VQ和SVM混合说话人识别模型。对于特征脸人脸识别算法,本文用L1-范数,欧氏距离,MIN距离和混合马氏距离四种度量距离对算法进行了比较。然后将脉冲耦合神经网络应用到人脸识别中,并在此基础上建立了人脸识别系统。其次本文重点对双模态的音视频特征融合识别进行了研究,由于特征层融合可用的信息量大,可以用于实时处理,故本文实现了基于归一化和SVM,基于PCNN两种融合识别算法在特征层对音频和视频特征进行融合识别。前者本文是利用特征相连法将语音特征和人脸特征相连在一起,后者是将两种特征的熵序列融合在一起。实验表明,融合系统的识别率都要比单模态的识别率要高,特别是将噪音加入到语音信号后,单个说话人识别系统识别率下降很快,但是融合识别系统的识别率却能保持在一个良好的水平上。