基于深度学习的大姿态三维人脸特征点定位研究

来源 :四川大学 | 被引量 : 0次 | 上传用户:xulei25163974
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸作为直接、可靠的生物特征,被广泛应用于信息安全、社会公共安全、虚拟现实和增强现实等领域。人脸特征点检测不仅是许多人脸分析任务中至关重要的预处理步骤,也是图形学和计算机视觉领域的一个基本问题。尽管过去十年中二维人脸图像特征点定位技术快速发展,但二维图像对光照等环境因素并不鲁棒,而三维人脸可以较好地弥补这些不足,因此三维人脸特征点定位吸引了越来越多的关注。现有三维人脸特征点定位方法主要基于脸部特征描述子或者基于投影并结合二维方法,前者在存在头部姿态偏转的情况下并不适用,而后者则大多未考虑姿态问题。由于真实世界中采集的三维数据大多存在头部姿态偏转,导致脸部数据不完整,给三维人脸特征点定位带来很大的挑战。目前克服头部姿态影响的方法大多基于多视角模型,不仅训练成本高,实施也复杂。针对大姿态下的三维人脸特征点定位问题,本论文完成的主要工作如下。1)提出一种基于姿态预矫正的三维人脸特征点定位算法。该算法将大姿态下的三维人脸特征点定位分为两个独立子问题,分两步完成特征点定位:第一步,将三维人脸投影为深度图,使用预训练的姿态估计网络得到当前人脸在俯仰和偏航方向的欧拉角,并据此旋转人脸到正脸视角,此后将该人脸坐标编码成一张位置图(Position Map)。第二步,将位置图送入特征点定位网络输出特征点在图上的像素位置,据此得到对应的三维坐标。2)提出一种级联结构的大姿态三维人脸特征点定位算法。受二维方法中解决大姿态下特征点定位问题的启发,该算法利用姿态矫正和特征点定位之间的促进关系,通过级联结构实现姿态矫正和特征点定位的联合优化。该算法将点云编码成位置图输入前置特征点定位网络,得到初步估计的特征点坐标,再结合正脸坐标模板估算出旋转矩阵;将旋转矩阵作用于位置图,得到姿态矫正后的点云;级联上述过程,最终得到一组更加精确的三维特征点坐标。3)评估本文级联结构算法在低精度三维人脸数据上的效果,分析讨论了三维数据精度对人脸特征点定位的影响以及可能的解决方案。本文在三个公共数据集(FRGCv2,UND和Bosphorus)上对算法进行全面评估,并与经典方法和先进方法进行对比分析。实验结果表明本文方法为大姿态下三维人脸特征点定位问题提供了一种可行的解决方法。
其他文献
近年来慢性非传染性疾病对人类健康的威胁日益增大。各类慢性病因其复杂的发病过程,很难确定疾病的发病时间。慢性病的早期筛查和确诊是公认的降低慢性病危害的有效办法,只有通过定期的体检来尽早发现诊断慢性病。伴随医疗信息化的建设不断深入,大部分医疗机构已经存有大量医疗健康数据。在这个前提下,逐渐成熟的人工智能技术为慢性病早期的筛查和诊断提供了有力的工具。近年来,针对各类慢性的研究逐渐增多。本文以体检数据为研
信息化技术和互联网的快速发展正深刻地影响着人民的生产与生活方式,我国社会正逐步朝着信息化社会迈进。根据第47次《中国互联网络发展状况统计报告》[1],截止2020年底我国的互联网普及率已达70.4%,人民的生产和生活与网络紧密相关。然而,在人们享受信息化与智能化所带来的便利同时,网络空间中所存在的安全问题是无法被忽视的。《2019年我国互联网网络安全态势综述》[2]中的统计数据显示,约有44.4%
针对公共场所中的特定事件的自动检测技术是保障公共安全的重要手段之一,也是推动社会智能化发展的重要技术之一。时空行为检测(Spatiotemporal Action Detection,STAD)就是在此需求下应运而生的自动化检测技术,常用于检测视频中特定的行为及其发生时所在的时空位置。时空行为检测中,用于检测如学校、监狱等特殊场所中打架斗殴等暴力事件的暴力行为检测(Violence Detecti
作为物联网技术中的重要组成部分,无线传感器网络技术已广泛运用于各领域。然而,传感器节点有限的电池容量制约了无线传感器网络的工作寿命。一旦传感器节点电池能量耗尽,会影响某区域的监控质量。因此,如何克服该约束并延长整个网络的寿命是一个研究的热点问题。当前,无线充电被视为延长网络寿命的一种有前途的解决方案。传统的无线充电技术是基于单路的充电范式。然而,这种一对一的充电范式存在扩展性不足和充电效率低下等问
来波方向估计(DOA)在电子侦察对抗、无线电频谱监测、移动通信、雷达、声呐等领域都扮演着非常重要的角色,是阵列信号处理方向中一个重要分支。在目前通信环境中,存在大阵列需求,在大阵列系统中,将会给传统来波方向估计算法带来巨大的挑战,面临着运算量大以及高精度取舍等问题。传统来波方向估计算法在实际环境的适应性较差,因为该类算法是基于数学表达式的一种算法,需要对环境做很多假设,当实际环境难以达到目标条件,
随着信息技术的高速发展,目标跟踪技术在军事和民用领域都展现出了不可取代的重要性。而在目标跟踪的过程中,无法避免地,处理程序会接收到错误的报告点信息或是误差较大的报告点信息,即杂波。这无疑会使处理程序得到错误的跟踪结果,造成虚警、漏警等常见问题。针对这些问题,相关领域的研究人员提出了一些有一定适用性的解决办法,但在复杂场景下,由于杂波种类繁多,计算机性能有限等各种问题,导致目前常用的杂波识别算法不能
随着汽车保有量快速增长,随之而来的交通问题也日趋严重。自动驾驶作为一个有前景的解决方案,在迫切的社会需求和高度发展的人工智能技术共同催化下快速成长。近年来,强化学习在不同的控制决策任务中表现优异,已有研究将强化学习算法用于汽车自动驾驶控制,通过智能体与环境交互,并根据环境的反馈进行驾驶策略的学习。柔性演员评论家(Soft Actor-Critic,SAC)算法作为新颖的强化学习算法,引入了最大熵的
李清照是我国宋代的著名词人,作为艺术史上的一个重要人物,李清照作为婉约派词人的代表身份是不容置疑的,而在李清照跌宕起伏的一生中,多种因素也导致了她的诗词具有了豪放的一面。绕过李清照所擅长的婉约词,来探究李清照在婉约风格背后的豪放。通过李清照本人生平与其文本的共同分析,探究李清照在豪放词背后所表现出的个人性格以及时代特征。
网络嵌入,又称为网络表示学习,目标是为网络中的节点学习低维的向量表示。学习到的向量表示可以用于各种网络分析任务,例如节点分类、链接预测、节点聚类、网络对齐等。近年来,随着大量网络数据的产生,网络嵌入受到了越来越多的关注。根据学习节点表示时利用的网络数量,网络嵌入可以大致分为两类:单一网络情境下的网络嵌入与多网络情境下的网络嵌入。尽管已经有许多研究人员分别针对单一网络情境下的网络嵌入以及多网络情境下
随着新兴信息技术的高速发展,数据存储的规模表现出前所未有的增长速度。大数据环境下的数据不仅仅表现出数据规模急剧膨胀,同时也呈现出数据质量低下、价值密度稀疏的鲜明特征。此外,数据随时间的推移产生得快,变化得快,折旧得也快,数据流已成为大数据环境中一种主流的数据存在形式。因此,对大数据的采集及分析应是一个不断优化、持续更新的增量优化过程。海量高维、动态低质的数据导致数据挖掘与知识发现算法所需要的计算代