人脸活体检测是计算机视觉领域中近年来备受关注的研究方向。数字化办公、金融科技等应用场景中部署了大量的人脸图像身份识别技术,在这些场景中环境背景、光照条件以及人脸姿态等不同会造成人脸图像的显著差异,因此很容易把照片或者平板电脑等设备中显示的人脸当成活体人脸来识别,带来了严重的安全隐患,活体检测算法在这些应用场景中有着迫切的需求。尽管在人脸活体检测问题上已经取得了一定的进展,但目前仍存在一些亟待解决的问题。首先,传统的人脸活体检测算法对人脸姿态动作敏感,识别率低,用户体验差,我们如何在人脸活体检测问题中提高识别准确率,摆脱用户配合的步骤,提升用户体验;其次,针对目前多模态人脸活体检测相关数据集缺乏的情况,本文构建了大规模多模态活体检测数据集;最后,在多模态数据下如何有效利用多种模态数据的特点对该问题进行研究。本文将针对以上三个问题,对多模态人脸活体检测问题展开研究,本文主要工作如下:(1)基于多模态生成的RGB图像人脸活体检测算法研究。由于RGB图像是在目前最常见的图像,同时也是应用最广泛的模态,本文提出了由单幅RGB图像生成多模态特征的人脸活体检测方法,通过目前公开数据集的RGB图像来生成不同的模态,例如宽动态范围图像(High-Dynamic Range,HDR),深度图等,进而分析研究生成的不同模态对活体检测任务的影响。(2)构建大规模多模态活体检测数据。针对目前学术界缺乏可用的多模态人脸活体检测数据集的问题。本文构建了一个大规模多模态人脸活体检测数据集。其中数据集采集了50个人的在10个场景下的真人视频和11个场景下的攻击视频。分段视频由宽动态范围图像和红外图像同时录制。共计由2100段视频,原始视频帧数超过300万帧。(3)提出融合多模态活体检测算法并设计活体检测系统。提出一种多模态活体检测网络模型并实现了多模态活体检测系统。通过融合不同模态的信息进行人脸活体检测,根据该算法基于Python语言及Pytorch、Open CV等开源算法库实现了利用GPU加速的活体检测系统,为研究者提供了必要的研究分析基础。本文提出的算法框架实现了活体检测的目标,在公开数据集上的实验表明本文提出生成宽动态范围图像的方法优于论文中其他算法。本文构建的多模态活体检测算法在真实多模态数据集中比单模态方法有显著优势且有较好的应用前景。