随着计算机视觉领域的不断发展,人脸识别技术是目前应用非常广泛的一种生物识别技术,随着人工智能技术更迭的加快,依赖大数据的深度学习方法给人脸识别领域带来了新的发展,尤其经过GPU加速后,深度学习的执行速度更快。在卷积神经网络中,深度学习特征提取工作是由卷积神经网络替代完成的,对于人脸图像数据,不需要自己构建人脸的眼睛、鼻子和嘴巴。用大量数据输入卷积神经网络中,让里面的权重自动训练,提取应该提取的特征,使得损失函数最小化。人脸检测是对人脸进行识别的首步,由于本文中的人脸图片都是在不同光照、不同的脸部角度、不同曝光、不同姿态和遮挡下。本论文利用MTCNN检测和校准之间固有的相关性在深度级联的多任务框架下来提升性能。利用三层级联结构结合卷积神经网络算法来对人脸进行检测和关键点的粗略定位,是一种从粗粒度到细粒度的处理手法,同时依据人脸检测任务和人脸分类任务来辅助人脸关键点的检测,对光照和姿态等变化具有良好的鲁棒性。自然环境下光照和姿态的变化给识别精度带来一定的挑战,如何能够更好的提高在自然环境下的识别精度。针对此问题,本文基于深度学习的人脸识别理论,对于FaceNet模型提出了一种最大池化和均值池化加权策略并采用Softmax Loss和TriHard Loss进行多损失联合优化的方式,达到更高的识别并且在LFW数据集上达到了很好的精度,而且在人脸识别效率上又有一定的提升。本文的主要内容和贡献如下:1、基于TensorFlow深度学习框架的FaceNet实现,提出了一种改进后的最大池化和均值池化加权策略来对FaceNet模型进行优化。本文采用的池化加权策略与Softmax Loss和TriHard Loss进行多损失联合优化的方式改进的FaceNet模型得到了更高的识别精度。2、针对上述的优化模型的基础上,利用Pyqt5实现实时人脸检测及识别系统的应用。包含人脸图像的实时采集与注册,检测人脸,实时人脸识别三个模块,具有良好的操纵性,可满足日常的人脸识别需求。