创建真实感的三维虚拟人脸一直被认为是计算机图形学中的圣杯问题。人脸具有复杂精细的几何结构，同时包含了丰富多变的表情运动，真实感人脸建模要求尽可能完整地恢复脸部细节与表情特征。随着技术的发展，大型硬件扫描设备已经可以捕获人脸的各种细节，但同时人们对轻量化人脸建模系统的需求越来越高，希望人脸建模技术能够摆脱对复杂扫描设备的依赖。由于图像是人脸信息最普遍的数据形式，从图像中重建三维人脸模型逐渐成为研究的主要方向。本文对基于图像的三维人脸建模方法中的多个环节进行研究，提出了新的人脸低分辨率三维模型重建方法与高分辨率三维模型重建方法，并对其应用技术进行探索，建立了一套完整的图像换脸系统。本文主要工作与创新点如下。
　　1.研究基于单幅图像的三维人脸建模技术，提出一种结合人脸统计模型与曲面拉普拉斯变形的人脸低分辨率建模方法。从单幅图像重建三维人脸属于欠约束问题，需要借助人脸统计的先验知识求解。针对人脸统计模型的重建误差，本文提出将人脸统计模型与曲面拉普拉斯变形结合，利用拉普拉斯变形对人脸统计模型的重建结果进行三维修正，通过曲面局部变形提高重建精度。实验表明本文方法生成的三维人脸模型整体效果较好，模型特征点附近的重建精度较高，与图像二维特征点检测的结果基本吻合。
　　2.提出一种基于随机图像集合的人脸低分辨率模型建模方法。随机图像集合是对同一人脸在多种场合随机拍摄下的多幅图像，常见于个人相册或网络搜索下载。由于从单幅图像重建三维人脸不可避免地存在歧义解，本文将单幅图像扩展为随机图像集合，通过对多幅随机图像进行联合求解，重建目标人脸的三维模型。随机图像集合具有相同的人脸身份特征，利用人脸统计模型对多幅图像中的人脸低分辨模型进行联合求解，可以减少有效歧义性。实验表明本文方法从多幅图像重建出的三维人脸模型，其面部相貌更接近图像中的目标人脸，效果明显优于基于单幅图像的重建结果。
　　3.研究基于从明暗恢复形状(Shape from Shading，SFS)的人脸细节恢复算法，提出一种结合光照约束与图像梯度约束的SFS改进算法。在获得人脸低分辨率模型的基础上，进一步从图像明暗信息中恢复人脸表面的几何细节，以增强人脸模型的真实感。针对现有SFS算法对光照条件不鲁棒的问题，本文通过引入对光照与人脸法向量新的约束条件，提高了优化计算的稳定性。实验表明，本文方法可以有效处理多种复杂光照条件下的人脸细节恢复问题，其重建后的三维点云几何细节畸变较少，效果优于传统的SFS算法。
　　4.提出一种基于随机图像集合的人脸高分辨率模型建模方法。SFS算法由于其原理的局限性，无法有效处理人脸面部的高光与自遮挡阴影，在人脸模型中形成伪细节；另一方面，SFS直接生成的结果为空间中的散乱点云，需要进一步从点云重建高分辨率模型。针对以上问题，本文在对随机图像集合进行联合低分辨率建模的基础上，进一步对各幅图像进行人脸细节恢复，得到深度点云，然后结合曲面变形传递算法，联合求解随机图像集合的高分辨率模型，从而限制高分辨率模型重建时的自由度。实验表明本文方法一定程度上消除了由高光与自遮挡阴影产生的伪细节。
　　5.研究基于图像的换脸技术，建立一套完整的图像换脸系统。图像换脸技术是对人脸低分辨率模型建模的扩展应用，该技术将用户人脸图像移植至目标图像，替换目标图像中的人脸，并使用户人脸自然融合至目标场景中。针对图像换脸中人脸光照环境、颜色分布与图像对比度差别较大的问题，本文提出一种基于拉普拉斯金字塔的图像融合算法，能够自适应调整换脸后人脸的颜色分布与细节对比度，从而使换脸结果自然真实。针对目标图像中存在局部遮挡物体的问题，本文提出一种针对局部遮挡区域的图像融合算法，实现遮挡物体边缘到人脸的平滑过渡，并能较大程度上还原遮挡物体在人脸区域的投射阴影。本文在此基础上建立一套完整的换脸系统，并分别在无遮挡条件与局部遮挡条件下进行换脸测试，实验表明本文方法均能获得较好的换脸效果。