基于手势识别的沉浸式虚实交互是虚拟现实技术、计算机视觉及计算机图形学领域的重要研究内容。手势交互是非接触式语言的主要人机交互方式,手势识别与虚拟现实仿真技术结合对人机交互技术发展有推动作用,具有良好的应用前景。人们对虚拟现实仿真交互方式的友好性需求日益增强。如何在实时手势识别基础上提高其精度,提升虚实交互的智能性,是影响其应用推广的重要因素。本文在山东省重点研发计划项目“基于深度学习的常用手语实词识别技术研究”(编号:2017GGX10127)的支持下,面向仿真驾驶场景,研究基于手势识别的智能虚实交互技术,设计实现了基于骨架运动轨迹的手势识别方法和基于深度学习的手势识别方法,用户通过自然手势与虚拟场景实时交互。主要研究内容包括:(1)提出了一种加权的动态时间规划算法,对提取的骨架信息进行分析,计算各个人体骨架关节点的贡献度和运动轨迹,对动态时间规划算法进行改进,实现对连续手势实时的粗粒度识别;(2)利用人体骨架关节点的位置和距离信息,对人体手部图像进行ROI选取,使用七层卷积神经网络网络对ROI信息进行特征提取并完成手部行为的细粒度识别。(3)设计并实现了基于手势识别的车辆驾驶仿真系统,使用Unity3D对车辆驾驶场景进行仿真,使用Kinect和HTC VIVE交互设备使虚拟环境与用户手势实时交互,实验结果表明了本文方法的有效性。