随着信息技术的飞速发展,以生物特征为依据的个人身份识别成为研究热点。目前,单模生物特征识别如人脸、指纹、虹膜等已在部分领域应用。但在一些高安全应用领域,由于单模生物识别在噪声干扰、非普遍性和防欺骗能力等方面有明显的不足,综合多种生物特征进行身份识别的多模生物识别技术受到广泛关注,本文利用易于实现同步采集、采集方式都具有非接触性、非侵犯性和易接受性的人脸和人耳生物特征信息进行多模融合识别的研究。近几年,随着压缩感知理论的提出,基于稀疏表示理论的生物特征识别技术成为国内外学者的研究热点,本论文将稀疏表示理论与多模生物识别这一研究热点相结合,研究实现了基于稀疏表示理论的人脸人耳多模融合识别算法,相对于其他生物特征识别算法,本文提出的算法具有防伪性高、识别性能强、对人脸人耳图像变化不敏感等优点。针对人脸人耳融合识别算法对图像光照变化、表情变化、拍摄角度变化等鲁棒性不强的问题,本文将稀疏表示理论引入到人脸人耳融合识别中,提出了基于稀疏表示的人脸人耳融合识别算法(MRSC)。算法中人脸人耳特征提取采用的是能有效降低样本维度的PCA特征提取算法,人脸人耳的特征融合层级选用既能实现冗余信息有效压缩,又能最大程度利用不同模态生物特征可区分性的特征级融合。考虑到不同模态生物特征对最终识别的贡献可能有所不同,故人脸人耳融合算法采用加权串联融合法。在本文提出的算法中,测试样本在训练样本中稀疏表示系数的求解采用的是迭代速度比较快的正交匹配追踪算法。实验证明本文提出的算法具有较好的识别性能,并且对人脸人耳图像变化具有较强的鲁棒性。针对训练样本与测试样本的非线性可分问题,本文进一步引入了核算法,提出了基于核稀疏表示的人脸人耳识别算法(KMRSC),将样本特征向量投影到易实现线性可分的高维核空间,在核空间内求解测试样本在过完备字典中的稀疏表示系数,最终通过最小重构残差来实现分类识别。实验证明本文提出的基于核稀疏表示的人脸人耳融合识别算法比非核稀疏表示的人脸人耳融合识别算法进一步提高了识别性能。