论文部分内容阅读
面部特征点定位作为面部图像分析领域的主要基础技术,具备重要的理论研究意义和应用价值,尤其是鲁棒的特征点定位对于非约束条件下的人脸识别起着至关重要的作用。常规的深度学习方法大多需要复杂且笨重的深层模型的级联架构,而粗略的初始条件会造成的特征点定位的偏离问题,使得光照、极端姿态、部分遮挡和夸张表情下的定位效果不佳。针对当前特征点定位的困境,结合深度学习突出的特征学习能力,本文重点研究了基于深度学习的面部特征点定位方法设计与实现。本论文的主要工作如下:(1)阐述深度学习和面部特征点定位的研究现状,详细地分析和总结当前研究的重点和热点问题,分别按照特征点定位的模型对算法进行分类,指出各种算法的优势和亟待解决的问题。(2)针对现有的方法大多是针对数目较少的特征点定位并且训练过程复杂,提出一种基于单个卷积神经网络的面部多特征点定位方法。从面部整体性着手,不需要多层网络级联或者将脸部划分若干子区域,仅仅使用单个深层卷积网络,就能够实现多特征点定位。该方法可以精确地提取全局高级特征,直接预测面部多特征点的坐标。此外,在非约束情况下,该方法对姿态、光照、表情和严重遮挡具备鲁棒性。(3)特征点定位不是一个独立的问题,容易受到一些不同类型但又紧密相关因素的影响。本文提出一种基于多任务学习深度网络的面部特征点定位方法,该方法分成两个阶段。首先,通过使用二级级联的卷积神经网络来对给定的测试图像生成面部候选区域,经过多任务学习的深度网络,融合了中间层中卷积层和池化层的特征,最终获得多个任务的结果,包括人脸检测框、性别和特征点及其对应的可见性信息。其次,为了提高多任务学习的深度网络在测试期间的人脸检测精度,提出二级级联卷积神经网络先从测试图像中生成面部候选区域,去除大量非人脸的背景子窗口,来剔除复杂背景的干扰,进而改善多任务学习深度网络的整体性能。本文的研究对局部遮挡、极端光照、姿态变换等因素的干扰具备一定的鲁棒性,且学习能力强,已经在农业银行、南京地铁等多个现实环境中推广应用。