论文部分内容阅读
人脸遮挡判别技术是计算机视觉领域中一项重要的技术,具有广泛的应用前景。三维人脸识别技术突破了二维人脸识别技术的瓶颈,对光照、姿态等外部干扰具有较高的鲁棒性,成为国内外的研究热点。与基于曲线、模型和多模态等方法的三维人脸遮挡判别算法不同,仅基于三维点云突变边缘、法向量、形状结构等原始特征的三维人脸遮挡判别算法能够实现更高效的遮挡判别。本文在对三维人脸遮挡深入分析的基础上,针对基于特征的三维人脸遮挡判别进行研究。本文主要的研究工作与创新点如下:
1)提出了一种基于多位图平面与多尺度等价局部二值模式(Multiscale Uniform LBP features of Multi Bit-Plane Slicing, muLBP-MBPs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中存在的点云数据量大、特征提取与训练耗时较长的问题,该算法通过对人脸深度图进行位平面切割得到各位图切平面,然后合成多位图平面以进行特征提取;根据横纵坐标划分人脸得到12个子区域,在多位图平面的各子区域内提取多尺度uLBP特征描述子;最后串联得到能够表征三维人脸点云的特征向量。实验结果表明,本文方法检测及分类性能较强,并且原理简单,易于实现,获得了具有竞争力的三维人脸遮挡判别准确率。
2)提出了一种基于法向量方位角局部熵(Local Entropy of Normal Vector Azimuths, LENVAs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中传统方法在特征提取中,不仅需要点云数据还需要纹理、颜色等额外特征的问题,该算法仅仅需要点云各点法向量作为初始特征用于描述三维人脸遮挡情况的形状变化。为精确遮挡所在区域,该算法使用基于横纵坐标的人脸划分方法,并在人脸各子区域内分别计算点云各点法向量方位角的熵值;最后将各子区域的三个方位角:俯仰角、偏转角和滚转角的熵值串联起来得到训练所需的特征向量。实验表明,该算法能够不依赖额外特征描述人脸遮挡情况,获得了较好的判别效果。
3)提出了一种基于RS-CL-CNN(Relation-Shape CNN based on Circle Loss)模型的三维人脸遮挡判别算法。点云学习分析非常具有挑战性,因为在无序点中隐含的形状特征很难捕捉到。为了解决经典规则网格卷积方法关于点云之间的几何拓扑信息的丢失问题,RS-CL-CNN模型将规则网格卷积扩展到用于点云学习分析的不规则配置。RS-CL-CNN的核心环节是从点云几何关系中学习,即点之间的几何拓扑约束。借助这种学习方法,能够得到关于局部点集形状的特征描述,并且可以实现对点的空间布局的显式推理,具有良好的鲁棒性。同时,该模型使用Circle Loss函数作为损失函数,指导对卷积核参数的更新,增加特征的类间距离以及减小特征的类内距离,从而进一步增强模型对遮挡的判别能力。实验证明该模型对于点云卷积学习的优越性,并得到了较为理想的三维人脸遮挡判别效果。
1)提出了一种基于多位图平面与多尺度等价局部二值模式(Multiscale Uniform LBP features of Multi Bit-Plane Slicing, muLBP-MBPs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中存在的点云数据量大、特征提取与训练耗时较长的问题,该算法通过对人脸深度图进行位平面切割得到各位图切平面,然后合成多位图平面以进行特征提取;根据横纵坐标划分人脸得到12个子区域,在多位图平面的各子区域内提取多尺度uLBP特征描述子;最后串联得到能够表征三维人脸点云的特征向量。实验结果表明,本文方法检测及分类性能较强,并且原理简单,易于实现,获得了具有竞争力的三维人脸遮挡判别准确率。
2)提出了一种基于法向量方位角局部熵(Local Entropy of Normal Vector Azimuths, LENVAs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中传统方法在特征提取中,不仅需要点云数据还需要纹理、颜色等额外特征的问题,该算法仅仅需要点云各点法向量作为初始特征用于描述三维人脸遮挡情况的形状变化。为精确遮挡所在区域,该算法使用基于横纵坐标的人脸划分方法,并在人脸各子区域内分别计算点云各点法向量方位角的熵值;最后将各子区域的三个方位角:俯仰角、偏转角和滚转角的熵值串联起来得到训练所需的特征向量。实验表明,该算法能够不依赖额外特征描述人脸遮挡情况,获得了较好的判别效果。
3)提出了一种基于RS-CL-CNN(Relation-Shape CNN based on Circle Loss)模型的三维人脸遮挡判别算法。点云学习分析非常具有挑战性,因为在无序点中隐含的形状特征很难捕捉到。为了解决经典规则网格卷积方法关于点云之间的几何拓扑信息的丢失问题,RS-CL-CNN模型将规则网格卷积扩展到用于点云学习分析的不规则配置。RS-CL-CNN的核心环节是从点云几何关系中学习,即点之间的几何拓扑约束。借助这种学习方法,能够得到关于局部点集形状的特征描述,并且可以实现对点的空间布局的显式推理,具有良好的鲁棒性。同时,该模型使用Circle Loss函数作为损失函数,指导对卷积核参数的更新,增加特征的类间距离以及减小特征的类内距离,从而进一步增强模型对遮挡的判别能力。实验证明该模型对于点云卷积学习的优越性,并得到了较为理想的三维人脸遮挡判别效果。