随着虚拟现实(virtual reality,VR)技术日益成熟,VR+的购物方式受到消费者的青睐。虚拟试戴技术能够解决传统在线购物中,消费者对产品认识度低,体验感差而导致的退货率高问题。本文选取头部饰品的试戴作为研究对象,设计并开发了一种虚拟试戴系统,主要研究其中的虚实融合和人脸位姿估计两个关键技术。系统中的虚拟饰品位姿由人脸位姿估计技术求解;虚实融合技术用于解决系统中的模型遮挡问题。在开发过程中,采用消费级深度相机作为人脸数据的采集设备,利用人脸三维特征点,快速重建三维人脸模型,为虚实融合技术提供数据支持;使用人脸图像中实时二维特征点结合三维特征点,估计实时人脸位姿;最后通过Unity3D引擎完成系统功能整合,实现人机交互。实验结果表明,系统具有实时和逼真的虚拟试戴效果。论文的主要研究工作包括:(1)提出一种基于消费级深度相机的快速人脸三维模型重构方法。使用深度相机获取人脸多角度的彩色图像和深度数据,提出人脸局部信息校准(local information calibrate,LIC)算法进行彩色深度图配准;基于级联回归的人脸对齐算法(gradient boosting decision tree,GBDT)提取人脸图像二维特征点;结合特征点的深度信息构成三维特征点数据;根据点云帧之间的特征点对应关系进行点云拼接,得到完整的人脸点云数据;最后使用贪婪投影三角化算法,构建整个人脸的三维模型。(2)提出一种可用于人脸实时位姿的估计方法。从视频帧中提取的实时人脸特征点二维数据,结合三维重构过程中得到的人脸三维特征点数据,通过直接线性变换法求解出人脸的实时位姿矩阵。实验结果表明,方法具有较好的实时性、准确度和鲁棒性。(3)开发了适用于头部饰品的虚拟试戴原型系统,能够为用户提供多种头部饰品的虚拟试戴效果,并且输出饰品的尺寸和样式。系统基于Unity3D引擎开发,使用深度相机作为数据采集设备,主要包含三个模块:数据采集处理模块用于实现人脸数据的采集和三维人脸模型的重构工作;虚拟试戴模块提供实时试戴和录制视频试戴两种模式的显示效果;尺寸输出模块用于提供虚拟饰品的尺寸和样式信息。案例测试显示,系统具有较好的实时性和真实感。