三维人脸遮挡判别算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:ferret
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸遮挡判别技术是计算机视觉领域中一项重要的技术,具有广泛的应用前景。三维人脸识别技术突破了二维人脸识别技术的瓶颈,对光照、姿态等外部干扰具有较高的鲁棒性,成为国内外的研究热点。与基于曲线、模型和多模态等方法的三维人脸遮挡判别算法不同,仅基于三维点云突变边缘、法向量、形状结构等原始特征的三维人脸遮挡判别算法能够实现更高效的遮挡判别。本文在对三维人脸遮挡深入分析的基础上,针对基于特征的三维人脸遮挡判别进行研究。本文主要的研究工作与创新点如下:
  1)提出了一种基于多位图平面与多尺度等价局部二值模式(Multiscale Uniform LBP features of Multi Bit-Plane Slicing, muLBP-MBPs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中存在的点云数据量大、特征提取与训练耗时较长的问题,该算法通过对人脸深度图进行位平面切割得到各位图切平面,然后合成多位图平面以进行特征提取;根据横纵坐标划分人脸得到12个子区域,在多位图平面的各子区域内提取多尺度uLBP特征描述子;最后串联得到能够表征三维人脸点云的特征向量。实验结果表明,本文方法检测及分类性能较强,并且原理简单,易于实现,获得了具有竞争力的三维人脸遮挡判别准确率。
  2)提出了一种基于法向量方位角局部熵(Local Entropy of Normal Vector Azimuths, LENVAs)的三维人脸遮挡判别方法。为了解决三维人脸遮挡判别中传统方法在特征提取中,不仅需要点云数据还需要纹理、颜色等额外特征的问题,该算法仅仅需要点云各点法向量作为初始特征用于描述三维人脸遮挡情况的形状变化。为精确遮挡所在区域,该算法使用基于横纵坐标的人脸划分方法,并在人脸各子区域内分别计算点云各点法向量方位角的熵值;最后将各子区域的三个方位角:俯仰角、偏转角和滚转角的熵值串联起来得到训练所需的特征向量。实验表明,该算法能够不依赖额外特征描述人脸遮挡情况,获得了较好的判别效果。
  3)提出了一种基于RS-CL-CNN(Relation-Shape CNN based on Circle Loss)模型的三维人脸遮挡判别算法。点云学习分析非常具有挑战性,因为在无序点中隐含的形状特征很难捕捉到。为了解决经典规则网格卷积方法关于点云之间的几何拓扑信息的丢失问题,RS-CL-CNN模型将规则网格卷积扩展到用于点云学习分析的不规则配置。RS-CL-CNN的核心环节是从点云几何关系中学习,即点之间的几何拓扑约束。借助这种学习方法,能够得到关于局部点集形状的特征描述,并且可以实现对点的空间布局的显式推理,具有良好的鲁棒性。同时,该模型使用Circle Loss函数作为损失函数,指导对卷积核参数的更新,增加特征的类间距离以及减小特征的类内距离,从而进一步增强模型对遮挡的判别能力。实验证明该模型对于点云卷积学习的优越性,并得到了较为理想的三维人脸遮挡判别效果。
其他文献
机器人智能作业需要融合力觉、视觉等多种传感器的数据信息,同时多核处理器和实时操作系统(RTOS)的发展,使任务组件一体化的机器人控制器系统软件成为一种面向未来的先进解决方案。本文围绕工业机器人控制器关键技术国产化及控制器系统软件自主可控的需求,系统地研究了基于开源RTOS的通用工业机器人控制器实时多任务系统软件的逻辑架构和智能接口技术的设计与实现。  本文首先在综述了国内外工业机器人控制器运行平台
红外与可见光双模图像融合在机器感知中扮演着重要角色,可见光图像可以提供目标的细节信息,但成像受制于天气、光照等因素。而红外图像由于其热成像特性可以弥补这一缺点,因此融合红外与可见光双模图像可以取长补短,从而获取更为丰富的信息。近年来,目标检测跟踪在军事、民事领域发挥着关键作用,基于红外与可见光双模图像融合的目标检测跟踪技术,相比基于单模图像的目标检测跟踪有着更高的精度与更好的鲁棒性,因此极具研究价
雷达伺服系统作为雷达系统的重要子系统,其性能的好坏直接影响了雷达系统运行精度的高低。雷达伺服系统在运行的过程中会出现各种类型的故障,快速准确的进行雷达伺服系统的故障诊断是保障其稳定运行的基础。现阶段的雷达伺服系统故障诊断通常由人工或传统的机理模型完成,故障诊断的效率及精确性难以得到保证。雷达伺服系统的历史故障数据中存在着故障的产生规律,基于数据进行故障诊断研究有助于提升故障诊断的效率和精确性,具有
学位
苹果作为我国生产量最高的水果,深受广大消费者的喜爱,但其采摘后缺陷果的分拣过程需投入大量人力,致使苹果分级效率低精度差,因此苹果表面缺陷自动检测技术对于解放劳动力、提高我国苹果市场竞争力意义重大。本文以红苹果作为研究对象,采用图像处理技术对其表面缺陷进行检测,主要工作归纳如下:  (1)图像的采集和预处理。图像采集是实现自动化检测技术的第一步,文中图像采集系统包括密闭纸箱、白色背景纸、对称白色LE
学位
近年来,随着计算机、传感器以及控制理论技术的发展,轮式移动机器人产业发展迅猛,被广泛地应用于各行各业,其控制问题已成为国内外学者研究的热点之一。本文针对轮式移动机器人的轨迹跟踪问题,将反步法、自适应控制以及滑模控制等方法相结合,分别对运动学外环和动力学内环进行控制器设计,使系统的跟踪误差达到渐近稳定。本文的研究内容分为以下三部分:  (1)研究了具有扰动的轮式移动机器人自适应滑模轨迹跟踪控制问题,
水下机器人技术正受到越来越多的关注,在诸如堤坝检测、管道铺设、水下救援、鱼群探测、生态监测和考古调查等领域应用广泛,显现着越来越重要的作用。然而,当前水下机器人研究主要以面向深海应用的大型作业级机器人为主,随着该领域的不断发展,浅水应用环境下的低成本、高精度ROV(Remote Operated Vehicle,即遥控水下机器人)需求与日俱增,研发适用于浅水环境的观察级ROV及其配套仿真系统与水下
排爆机器人能够在危险环境下代替排爆人员对可疑的爆炸物进行检查、抓取、搬运和销毁,可作为搜爆、排爆作业的专业装备,是当前特种机器人研究的热点之一。本文针对多机器人的协同作业过程,重点研究远程操控、机械臂半自主抓取和多机器人协作等技术,设计并实现了基于排爆机器人的半自主多机协作系统。  本文在调研排爆机器人及其关键技术研究现状的基础上,针对现实排爆过程中出现的两个主要问题:(1)单台机器人操作不便或无
人脸识别技术为人民生活带来了众多便利,并且为社会安全做出了很大的贡献。在很多应用场景中人脸识别技术需要运行在嵌入式设备上,并且由于嵌入式平台的发展,更高性能的人脸识别算法可以在嵌入式平台上得以实现。因此本文对基于嵌入式平台的人脸识别技术进行了深入的研究,研究内容如下:  (1)人脸检测算法研究。为了实现嵌入式平台实时人脸检测,设计了一种基于级联架构的人脸检测算法。该检测算法核心为3层级联的卷积神经
学位
高分辨率图像在很多场景中都有广泛需求。但在现实图像获取过程中,成像环境和成像硬件设备的限制以及各种噪声干扰导致获取的图分辨率有限。人们常助图像超分辨率(Super-resolution, SR)技术提高获取图像的分辨率,得到重建的高分辨率图像。着深度学习的出现,基于深度学习的图像超分辨率方法成为国内外研究的热点。图像超分辨率重建技术是指用信号处理和图像处理的方法,通过软件算法的方式从已有的低分辨率
学位
人机共融导航是服务机器人研究领域的核心技术之一。行人建模和路径规划的结合是服务机器人人机共融导航目前发展的重要趋势。本文针对室内服务机器人的工作环境,设计具有良好扩展性与稳定性的服务机器人人机共融导航系统框架,对涉及的相关技术展开深入研究,并对系统各模块进行软件设计与实现。  论文综述了服务机器人人机共融导航相关技术的研究现状,分析系统设计与实现存在的技术难点,在此基础上进行了需求分析,基于机器人