中国VR技术实现商品化是在2015年,被视为中国虚拟现实(VR)的“元年”。最近几年,VR行业起起伏伏,甚至对于一般消费者来讲还是一个非常新奇的概念,并且VR在主流市场的普及还一直面临着很大的挑战。随着5G商用的到来,VR的优势将得到充分发挥,其在VR行业的应用被普遍看好,潜在的应用开发也呼之欲出。无标记人体关键点估计是虚拟现实(VR)和增强现实(AR)的许多有趣应用的基本挑战,例如VR环境中的对象处理,游戏和交互控制。这项任务在过去几年中得到了广泛的研究,并取得了很大的进展。尽管许多无标记的算法在具有挑战性的条件下已经实现了高精度,但大部分相关人体关键点识别研究都是从通用问题出发,未从VR应用条件下考虑,所以许多准确率高的优秀方法在VR下应用时,不是受限于速度便是受限于精度,表现良莠不齐。因而本文在面向不同VR应用场景的前提下,研究三维人体关键点的识别与交互。论文的主要工作总结如下:1.结合手势识别方法,设计了适用于桌面VR的动态手势交互方式。通过基于坐姿VR的气象数据可视化系统的交互实验分析,所设计的动态手势交互方法在沉浸式气象数据可视化系统中效果良好,为用户提供了高度沉浸感,帮助用户更有效地理解数据。2.针对Leap Motion手势跟踪应用在桌面VR中的缺点,我们采用计算机视觉技术,结合深度学习手势识别方法,提出了一个策略,通过计算由深度相机捕获的手部图像的自遮挡程度,将自遮挡程度低的简单手势由基于快速模型的方法识别,复杂手势图像则利用已训练好的卷积神经网络进行关节点识别,既保证了识别准确率,也改善了深度学习方法应用于VR时帧数低的问题。3.针对使用VR手柄的房间VR应用,提出一种低成本的快速人体动作捕捉方法。我们将人体骨骼结构分解为上肢关节运动链和下肢关节运动链,通过头戴式显示器和手柄追踪器获得的末端关节的定位信息,利用逆运动学进行上肢动作解算。下肢姿态跟踪则采用深度学习方法,从摄像头捕获的彩色图像中估计腿部3D关节点位置,改善了传统逆运动学姿态解算带来的下肢位置信息缺失或不准确。实验表明,我们的方法在仅多需要一个彩色摄像头的情况下,实现了房间VR中全身三维姿态的有效跟踪。实验表明,本文针对各种具体的VR环境所提出的跟踪识别方法改进了传统通用方法的不足,更符合沉浸式虚拟现实的跟踪需求和操作体验。同时,进一步提高面向虚拟现实环境的人体关键点识别效率与准确率,更多的需要从挖掘人体本身的结构特点考虑。