近年来,随着人机协作概念越来越受到人们的重视,协作型机器人技术得到了快速的发展,其稳定性与灵巧性能代替人类完成大量重复或者危险的任务。与此同时,随着人们对世界探索范围的增大,出现了大量不适于人类亲自前往作业的恶劣环境。基于此背景,本文主要研究了一种基于体感控制方法的机械臂遥操作控制系统,实现了操作者从远端,利用身体动作及手势,高效自然地控制灵巧机械臂完成复杂任务。论文的主要研究内容包括:（1）利用体感捕捉装置Kinect进行人体动作位置的获取,完成动作映射算法,使人体动作较为精确地映射到机械臂,实验对机械臂的自然体感控制。通过改进的Socket通信完成数据的远距离可靠传输,通过视觉反馈系统观察工作环境,从而实现对机械臂的主从遥操作任务。（2）对机械臂的运动学进行了分析,使用D-H方法对机械臂进行建模。提出一种基于骨骼向量解算角度的方法,通过Kinect获取的关节位置数据计算骨骼间夹角,并设计了 一款适用于本实验的滤波器用于骨骼数据的平滑处理。（3）为解决在体感控制中出现的末端位置调整精度问题,本文引入了深度强化学习算法,并搭建仿真环境进行大规模训练,最终利用体感及深度强化学习组合控制方法,完成较高精度的机械臂末端位置调整。（4）为更好地观察从端机械臂工作环境,本文将具有高真实性、高沉浸感的虚拟现实技术（VR）引入到视觉反馈系统中。使用通信协议接受现场工作环境视频流信息,利用Unity3d软件搭建虚拟现实环境,实现视频流的在虚拟现实眼镜中的实时渲染显示,从而完成立体视觉反馈系统的搭建,使操作者能以第一人称的视角观察现场环境。（5）本实验在Windows和Ubuntu两个系统中完成。通过UDP协议实现骨骼数据的跨系统传输,通过算法实现机械臂的基础体感控制。利用Unity与ML-Agents机器学习代理搭建了基于深度强化学习的末端位置自主调整训练环境。最后,本文使用Baxter双臂机器人搭建了真实机械臂实验平台。最终实验结果验证了该套控制方法的有效性。