论文部分内容阅读
人脸关键点检测指的是从原始的人脸图像中检测出面部的目标区域。精确的关键点检测在众多人脸相关的科研和应用中起到重要作用,例如人脸识别、人脸动画、人脸姿态估计和人脸建模等。从技术实现上看,人脸关键点检测可以拆分为两个子任务:人脸检测和人脸关键点定位。过去的几年时间里,凭借着优秀的图像特征自动提取能力,深度学习极大促进了人脸关键点检测研究的进展,但随之而来的一些问题也不得不引起重视:主流的人脸关键点检测在研究内容上忽略了额头上的信息,这在一定程度上限制了人脸关键点检测的应用场景;在算法设计上,深度学习的发展导致算法变得越来越复杂,相对精准的轻量级算法的缺乏,加大了人脸关键点检测在工业界里部署应用的难度。
本文提出了基于多任务并行机制和网络预训练的77关键点检测方案。此方案作为一个通用框架,可适用于多种人脸关键点检测算法。人脸检测和人脸对齐是人脸关键点检测任务的基础环节,多任务网络能够并行兼顾人脸检测与人脸对齐,解决了主流人脸检测和人脸对齐串行方案的弊端,因而可以在工程上简化模型架构并提升效率;针对人脸多关键点检测任务或者轻量级检测场景,非冻结预训练的方法可以通过参数逐步训练和网络结构微调,有效地提升检测精度。
针对人脸关键点检测领域中轻量算法的缺乏,本文提出了基于区域注意力和区域融合的轻量级人脸关键点检测算法。通过从模型存储、检测精度、运行时间等多个角度对不同的轻量网络进行性能评估,选取了SqueezeNet作为实验的基础网络。但在人脸关键点检测领域,由于分布的不同,不同区域的人脸关键点对最终的损失函数影响也不同,网络在训练时极易产生损失不平衡问题。本算法将区域注意力机制引入到轻量网络中,注意力机制的本质是损失函数的权值自适应,通过自动训练不同人脸区域在损失函数中的权重,有效地缓解了人脸关键点检测中的损失函数不平衡问题。而区域融合的方式,吸收了检测网络中全局输出和局部输出的优势并对结果进行集成,在已有算法的基础上进一步提升了检测精度。
本文在公开的300W数据集上进行标注,获得了包含额头信息的更完备数据集,并在此数据集基础上开展对比实验,通过一系列的实验结果来验证本文算法设计的可行性和有效性。
本文提出了基于多任务并行机制和网络预训练的77关键点检测方案。此方案作为一个通用框架,可适用于多种人脸关键点检测算法。人脸检测和人脸对齐是人脸关键点检测任务的基础环节,多任务网络能够并行兼顾人脸检测与人脸对齐,解决了主流人脸检测和人脸对齐串行方案的弊端,因而可以在工程上简化模型架构并提升效率;针对人脸多关键点检测任务或者轻量级检测场景,非冻结预训练的方法可以通过参数逐步训练和网络结构微调,有效地提升检测精度。
针对人脸关键点检测领域中轻量算法的缺乏,本文提出了基于区域注意力和区域融合的轻量级人脸关键点检测算法。通过从模型存储、检测精度、运行时间等多个角度对不同的轻量网络进行性能评估,选取了SqueezeNet作为实验的基础网络。但在人脸关键点检测领域,由于分布的不同,不同区域的人脸关键点对最终的损失函数影响也不同,网络在训练时极易产生损失不平衡问题。本算法将区域注意力机制引入到轻量网络中,注意力机制的本质是损失函数的权值自适应,通过自动训练不同人脸区域在损失函数中的权重,有效地缓解了人脸关键点检测中的损失函数不平衡问题。而区域融合的方式,吸收了检测网络中全局输出和局部输出的优势并对结果进行集成,在已有算法的基础上进一步提升了检测精度。
本文在公开的300W数据集上进行标注,获得了包含额头信息的更完备数据集,并在此数据集基础上开展对比实验,通过一系列的实验结果来验证本文算法设计的可行性和有效性。