基于形变模型的三维人脸合成及应用研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:juk3donda
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸合成是计算机视觉和计算机图形学领域最富有挑战性的课题之一,可以广泛地应用于新一代的人机交互、影视广告、计算机游戏、远程会议、辅助教学等许多领域,是近几年来国际上的研究热点。 传统的三维人脸合成方法在模型的真实感,建模方法的复杂度及人脸合成的自动化程度等方面还存在不少的问题。基于形变模型的三维人脸合成是近几年出现的基于统计学习理论的三维人脸合成新方法,该方法具有模型真实感好、自动化程度高等特点。本文正是着眼于基于形变模型的三维人脸合成研究,针对目前形变模型及基于该模型的人脸合成存在的缺点和不足,探讨基于统计学习理论和线性对象类思想的三维模型在人脸合成方面遇到的相关问题。本文在充分回顾已有方法的基础上,在三维人脸建模和模型匹配问题的不同方面提出了若干创新性想法,并给出了令人振奋的实验结果,为人脸合成研究的发展开拓了新思路。 本文的主要研究工作包括以下几个方面。 (1)大规模三维人脸数据库(BJUT-3DFaceDatabase)的创建 三维人脸数据库是构建形变模型的基础。数据库的创建包括三维人脸原始数据的获取、数据的预处理、数据的规格化以及数据库结构的整体设计等研究内容。主要是针对CyberwareLaserScanner扫描获取的三维人脸颜色纹理失真的问题,在三维人脸颜色纹理的改善方法方面展开研究。 (2)三维人脸主动形变模型(3DActiveMorphableModel,3D-AMM)的建立 首先,基于大规模三维人脸数据库(BJUT-3DFaceDatabase),研究三维人脸点对点的对齐方法。计算原型三维人脸之间点对点的对齐是构建三维人脸主动形变模型的基础和前提。其次,在对齐后的三维人脸的基础上,研究三维人脸主动形变模型(3D-AMM)的建立,主要包括参数模型的建立和针对输入人脸图像的模型匹配。参数模型的建立涉及模型基础数据的获取和量化,模型匹配主要涉及光照模型、摄像机模型和大数据量的优化问题,研究大规模函数优化问题的优化算法。 (3)兼容于MPEG-4的三维人脸动画 面向真实感三维人脸合成,研究基于三维人脸主动形变模型(3D-AMM)的人脸动画。MPEG-4提供了一套以FDP和FAP为参数的三维人脸动画方法,这种人脸动画实现方法通用性强,数据量小,运算复杂度低。但是,MPEG-4仅为三维人脸动画提供了一种框架,对于具体模型和具体实现细节并没有给出解决方案。本文主要基于三维人脸主动形变模型(3D-AMM)和MPEG-4提供的人脸动画准则,研究兼容于MPEG-4的三维人脸动画方法。 基于上面几个方面的深入研究,本文主要在以下几个方面取得了一定突破和进展,获得了一定研究成果。 1.提出了基于纹理映射的三维人脸纹理改善方法 针对大规模三维人脸数据库(BJUT-3DFaceDatabase)中原始三维人脸纹理数据与相同环境光照条件下的真实纹理之间差异较大的问题,本文提出了一种基于纹理映射的三维人脸纹理改善方法。通过采样获取纹理数据,采用统计分析中曲线拟合与线性回归的方法建立扫描得到的纹理空间到真实纹理空间的纹理映射关系,有效地解决了CyberwareLaserScanner扫描获取的原始三维人脸纹理失真的问题,提高了三维人脸数据库的质量。 2.提出了基于均匀网格重采样和网格简化(UniformMeshResamplingCombinedwithMeshSimplification,UMRMS)相结合的三维人脸对齐方法原型三维人脸之间点对点的对齐是建立形变模型的基础和关键问题,本文提出了一种基于均匀网格重采样和网格简化相结合的三维人脸对齐方法(UMRMS)。首先采用统一的格式将原型三维人脸分片,然后在每个面片上进行均匀网格重采样。对重采样后的三维人脸,在全局误差准则的条件下进行网格简化,最后得到具有相同拓扑结构的由较少数目的顶点和三角面片构成的三维人脸,三维人脸之间点对点的对齐由对应分片的对齐自然而然的建立起来。新的对齐方法很好地解决了三维人脸之间点对点的对齐问题,同时降低了表示一个三维人脸所需的网格顶点数和三角面片数。 3.提出了三维人脸主动变形模型(3DActiveMorphableModel,3D-AMM)线性对象类(LinearObjectClass)的思想和基于统计学习的人脸建模方法在人脸合成中得到了很好的应用,基于二者的理论,本文提出了一种新的三维人脸模型—三维人脸主动形变模型(3D-AMM)。该模型是一种统计线性组合模型,根据三维人脸空间中若干个典型样本张成该空间的一个子空间,然后通过三维人脸子空间基底的线性组合近似地表示一个新的三维人脸。在对齐后的原型三维人脸数据的基础上,采用主成分分析的方法寻找空间的基底,最后采用基底的线性组合建立三维人脸主动变形模型(3D-AMM)的参数表示。给定一幅二维人脸图像,通过模型匹配即可自动重建特定人的三维人脸。 4.提出了基于遗传算法(GA)的模型匹配算法 模型匹配是根据输入人脸图像,利用三维人脸主动形变模型(3D-AMM)实现真实感人脸合成的一个关键因素。针对现有模型匹配算法过于依赖初值、算法稳定性和鲁棒性差,收敛速度慢的缺陷,本文提出了基于遗传算法的模型匹配算法。根据模型匹配问题的特点,设计了合理的遗传算子,并在优化过程中对交叉和变异概率进行调节,提高算法的收敛速度和求解精度。新的模型匹配算法很好地解决了三维人脸重建过程中的模型匹配问题,加快了模型的匹配速度,提高了模型的重建精度和效率。 5.提出了兼容于MPEG-4的三维人脸动画 基于三维模型的人脸动画即是驱动三维人脸模型合成真实感的脸部表情动画图像。三维人脸主动形变模型(3D-AMM)在人脸合成方面具有真实感好,自动化程度高的特点,而基于MPEG-4的三维人脸动画方法具有通用性强,数据量小,计算复杂度低的特点。通过分析MPEG-4标准中人脸动画的基本原理,结合三维人脸主动形变模型(3D-AMM)的基本思想和特点,本文提出了一种兼容于MPEG-4的三维人脸动画方法。基于三维人脸主动形变模型,根据MPEG-4中规定的三维人脸动画准则,建立了兼容于MPEG-4的三维人脸动画模型。新的三维人脸动画方法具有真实感好,自动化程度高,易于特定化,易于控制,通用性强,计算复杂度低的特点。 基于三维人脸主动形变模型(3D-AMM)的人脸合成是一种新的真实感三维人脸合成方法,具有很大的研究潜力和应用前景,进一步的研究需要在提高模型匹配的优化效率,建立完整的头部模型以及人脸动画的驱动模式等方面做出努力,使得模型不断完善并应用于更广泛的领域。
其他文献
随着H.264/SVC视频标准的出现,对于流媒体安全保护提出了新的挑战。H.264/SVC的特色在于它提供了多方面的可伸缩性:时间可伸缩性,空间可伸缩性和质量可伸缩性,比上一代H.264/AVC
随着空间数据在人们发现知识和改造自然的过程中具有越来越重要的作用,空间数据挖掘的发展已经成为当前国际上的热点。空间数据挖掘的目的是从大量的复杂的空间数据集中挖掘
学位
当今信息化社会,信息数据的重要性与日俱增。由于人为操作、设备故障、计算机犯罪或自然灾难等原因,数据可能被破坏,数据恢复技术得到越来越多的关注。数据雕刻技术是一种在存储
随着互联网技术与基础设施的不断发展,通过网络进行高清流媒体直播,在商品导购、景区推介、小型赛事直播等领域的应用需求日益增加。但现有商用模块或实验系统,在高清实时流媒
目前,面向对象开发技术得到广泛应用,由于其本身带有重载性、封装性、多态性,在提高了软件生产率和可靠性的同时,也给软件测试带来了诸多的问题。本文通过分析面向对象技术对软件
随着计算机图形学的深入发展,数字几何处理渐渐成为研究热点,很多研究成果已经得到了广泛的实际应用。 在数字几何处理中三维网格是最常用的物体形状表示方法,网格参数化
数字蒙太奇技术是指将同一场景的不同照片通过拼接、融合形成一幅新的更好地表达摄影师对场景理解的照片的一种架构技术。它作为一种新的图像处理技术和基于图像的绘制技术,近
混沌分形理论被认为是继相对论、量子力学之后,人类认识世界和改造世界的最富有创造性的第三次革命.混沌分形理论的基本思想起源于20世纪初,是一门正在蓬勃发展的新学科.它描述的
随着数字视频及多媒体技术的发展,适用于不同领域的MPEG,H.26x等国际视频编码标准应运而生。为了适应用户终端的多样性以及网络自身的传输特性,常需将已压缩的视频码流进行转