近年来,基于图像的人脸处理技术在许多领域得到广泛应用,例如:用户识别、公共安全、人机交互等领域。人脸识别技术在深度学习的助力下,其识别率得到显著提升。由于单模态数据的识别在应用中存在一定的局限性,且人们获取多模态数据更加便捷,因此多模态人脸识别已经成为科技发展的趋势。然而,多模态数据特征差距的处理和互补特征的提取,是多模态识别最具有挑战的任务。最近各大相机软件变妆、换脸等功能受到广大用户的青睐,与此同时人脸融合技术层出不穷,但效果却不尽理想,而且对于具有推荐功能的人脸融合系统的研究少之甚少。针对以上问题,我们提出一种多模态人脸识别与人脸融合系统,为此我们做了三方面的研究:基于卷积神经网络的多模态人脸识别、人脸融合、带有推荐功能的人脸融合系统,具体工作如下:（1）使用彩色、深度、热图三种模态的图像进行多模态人脸识别,并设计了多通道卷积神经网络——MCCNN。MCCNN包含三个子网络,分别提取三种模态的图像特征。最后,采用级联融合得到多种模态融合后的特征,并进行分类。（2）开发了人脸融合算法,并搭建了人脸融合系统界面。使用该系统可以轻松实现两图片的人脸融合。（3）设计了具有推荐功能的人脸融合系统。首先,基于人脸识别技术设计了推荐系统,使用推荐系统得到与融合模板图相似度最高的图片,然后和模板图进行融合,进而达到更好的融合效果。论文采用RGB-D-T人脸数据库对多模态人脸识别系统进行测试。实验结果显示,与单模态和双模态相比,多模态人脸识别能够得到更好的识别结果。最后,对带有推荐功能的人脸融合系统进行测试。实验结果表明,论文提出的系统达到了理想的融合效果。综上所述,我们的工作达到了课题研究目的,有效解决了多模态人脸识别和人脸融合问题。