当前以虚拟演艺、体感互动、沉浸式交互设计为核心的数字娱乐技术研究成为虚拟现实业界的潮流。本项目更可延展至类似系统,应用于科技馆、游艺游乐场所、主题公园等文化娱乐场所,也可以扩展到教育领域,尤其是中小学及幼儿教育。本文以“湖南关山古镇——五虎上将艺术成像系统”项目为研究背景。该项目为玩家提供九种可替换角色、九种可替换虚拟场景、延时自动拍照、每个角色两种动画姿态拍照、历史相册浏览、彩色照片打印等功能。本文的主要工作包括骨骼驱动实现人机交互、脸部图像数据替换、脸部图像肤色增强等方面的研究和实现,具体内容如下:第一步,通过Kinect骨骼识别技术标定人体骨骼特征点,进行实时数据读取。通过Unity3D引擎的Mecanim人形动画系统进行骨骼驱动的角色动画实现。然后推测不可信的骨骼点、平滑骨骼数据。使用标准姿态对错误姿态进行矫正,包括下半身骨骼捕捉不完全、长裙导致膝盖节点外移等。第二步,基于OpenCV的人脸追踪技术,读取人脸的实时RGB图像数据,再处理成虚拟角色脸部材质的贴图,实现玩家脸部图像的植入。然后,再进行脸部图像的肤色增强,通过计算虚拟角色的肤色平均值的色相、亮度等属性,修改脸部图像数据的色彩值,使得玩家真实的脸部图像数据与虚拟角色和虚拟场景更加融合。本项目具有良好的扩展功能和移植功能。例如,可以方便的扩展为多个角色控制系统。也可以将本项目技术移植到场景体验式角色扮演系统、虚拟主持人系统、虚拟服饰佩戴系统等。本文的研究基础为我在未来的虚拟现实领域的发展提供了很好的经验。