人机交互一直是工业界和学术界的热门研究方向,随着近期元宇宙概念的风靡,人机交互技术变得愈发重要。在游戏娱乐方面,VR游戏已经成为了一种常见的游戏形式。传统的VR游戏需要依赖手柄,激光雷达和深度相机等昂贵的设备,从而增加了玩家的负担。鉴于以上情况,提出了一种基于计算机视觉的人机交互方式。该交互方式只需要两个普通的RGB摄像头,即可完成玩家与VR游戏的交互。本文依托于3D云游戏平台,以第三人称游戏为研究对象,完成以下工作:（1）2D人体关键点检测算法研究。为了实现游戏玩家对游戏内玩家角色模型的控制,采用人体关键点检测的方法,通过人体关键点来驱动游戏中的玩家角色模型。为使人体关键点检测算法能达到本文应用场景的要求,对PIFPAF算法在特征提取阶段进行改进,将Shuffle Netv2 Block作为特征提取网络的主体,并对损失函数和一些参数作了优化,最终在本文的测试中,NE达到0.211%,OKS达到0.976。并且改进后的算法更加轻量化,训练和运行速度更快,在RTX2060GPU环境下,当输入图像大小为320*240时,算法检测速度可达13fps。（2）关键点升维算法研究。针对传统的基于RGB图像的人体关键点检测算法只能得到关键点的2D坐标的问题,提出了一种基于双目视觉的人体关键点升维方法。该方法首先对两个RGB摄像头同时拍摄的人体图像进行关键点检测,然后根据检测到的人体关键点2D坐标,结合摄像头的内外参数,采用几何计算的方法将人体关键点从像素坐标系下的2D坐标升维到世界坐标系下的3D坐标。经过定量测试,在本文的实验条件下,该升维算法的精度可达厘米级,并能得到较好的可视化结果。（3）手势识别算法研究。为实现玩家通过手部动作与游戏内容交互的目的,设计了一种改进的GBDT静态手势分类算法,实现了对11个静态手势的识别。通过对困难样本和易分样本在算法训练迭代时设置不同权值的方式,获得了更好的测试结果。通过视频帧之间静态手势的变化关系实现了对“捡起”、“开枪”等游戏动作的识别。（4）游戏交互系统设计与实现。以算法获得的人体关键点的三维数据为基础,通过网络通信的方式,将每一帧数据的JSON文件上传给云游戏运行平台,并接收云游戏运行平台的渲染结果进行播放。实现了游戏玩家对游戏内玩家角色模型的控制,达到了人机交互的目的,并有较好的演示效果。