人脸关键点检测是机器根据人脸信息自动检测出人脸上具有特定含义的点的技术,广泛应用于人脸识别、人脸分割、三维人脸重建、姿态估计等领域,能显著提高这些任务的效率和精度。经过多年的发展,有关人脸的任务越发趋于复杂,人脸关键点检测的关注点逐渐从提升检测速度和精度转移到提升检测的难度,即稠密人脸关键点检测。与此同时,研究人员对于标注有稠密人脸关键点的数据集的需求也越发迫切,对于研究者来说,丰富的数据集是训练得到优秀模型的重要因素之一。一直以来,数据集的缺乏始终制约着人脸关键点检测的进一步发展,而标注包含稠密人脸关键点的数据集是一项非常繁琐的工作,其主要的难点有两方面:(a)并非每一个面部关键点都拥有明确的定义。许多关键点仅仅定义为均匀分布在轮廓上,这些关键点的标注位置完全依赖于标注者的主观判断,因此数据集的最终标注很难达到含义上的统一,从而最终得到的数据集质量较差;(b)逐个调整面部关键点耗时严重,特别是标注稠密人脸关键点时,标注的工作量会急剧上升。本文对人脸关键点进行了深入研究和分析,针对以上问题提出了解决方案。本文的主要贡献如下:(1)给出了新的稠密关键点定义,共在面部定义了84个点。目前应用较广的稠密人脸关键点定义包含68个点,但其在定义上缺少鼻子和眉毛下半部分的定义,且定义的眼睛部分关键点较为稀疏。本文增加了眉毛、鼻子和眼睛的关键点定义,使关键点可以完成更多更复杂的任务。(2)重新标注了AFW、HELEN、IBUG、LFPW以及部分Multi-PIE的图片,并加入了一些从网站搜索的图片,构建了包含稠密人脸关键点的数据集(Dense Landmark Localization Database,简称DLL数据集),每张人脸图片标注有84个面部关键点,共包含有39198张图片,这些人脸图片包含了姿态、表情、光照和遮挡变化,同时包含了实验室环境下和非控制场景下的图片。值得一提的是,该数据集将被本文公布,提供给研究者免费使用。(3)在数据集上评测了监督梯度下降算法和卷积姿态机算法,总结分析实验结果,提出了基于基准点损失函数的人脸关键点检测,在难样本上取得了更高的检测精度。(4)设计开发了一种人脸关键点半自动标注工具,该工具结合了配准算法和三维人脸重建算法,充分利用人脸本身的结构信息来减少对标注者主观判断的依赖,同时工具能够半自动地将标注的关键点移向潜在的目标位置,使得标注者能够在较少的点击次数下标注稠密人脸关键点,有效提升了标注效率和精度。总体而言,本文提供了一个标注有稠密人脸关键点的数据集,该数据集图片涉及范围广且标注精度高,一定程度上缓解了目前深度学习对数据集的需求。另一方面,本文通过对关键点位置以及人脸本身结构的研究,提出了一种半自动的标注工具,提升了标注的效率和精度。本文所构建的DLL数据集以及半自动人脸关键点标注工具都将进行开源,供研究者们免费使用。