随着工业技术的发展,机器人在各行业的应用越来越广泛,尤其是在具有危险性的环境中,机器人应用起着不可替代的作用。现有机器人应用大多数是基于拟定的控制程序执行指定任务。而在复杂环境应用中,要求机器人执行非拟定任务,如实时模仿人动作,从而给机器人操作带来诸多挑战,本文主要研究机器人执行非预先设定动作的关键问题,根据实时捕获的人的书写动作来同步执行书写操作。本文主要工作如下:首先,对不同的人体运动捕捉技术以及机器人(机械臂)的控制算法进行了分析,比较各自的优、劣势,并详细深入地探讨了Kinect传感器的骨骼节点捕捉以及深度图像技术工作原理。其次,研究了Kinect人体运动实时捕获下机械臂的书写控制。针对Kinect传感器捕捉到的手部关节点数据存在严重的抖动问题,本文利用深度图像拟合出的手部几何矩代替单一的手部关节点,提出动态手部区域提取的方法。实验结果表明发现,该方法可以把X和Y轴方向的误差各减少五倍左右。同时,针对采集到的轨迹点间隙较大而带来机械臂书写结果不平滑以及算法高延时问题,本文基于轨迹插值理论,提出了N参考点实时插值方法。实验结果表明经过插值后的轨迹质量得到明显提高。最后,在基于Vicon系统的基础上实时追踪人体书写笔尖的位置,对机械臂的书写进行控制。针对已有的笔尖追踪方法在追踪轨迹方面存在较大偏差的问题,本文基于机械臂关节旋转以及刚体不变性理论,提出笔尖实时追踪方法。结果表明通过本文的笔尖追踪方法将轨迹的平均偏差从9.603mm降至0.004mm,且轨迹质量得到显著改善。同时,针对因机械臂数据阻塞接收方式而导致机械臂在书写过程中存在振动以及机械臂异常停止的问题,本文基于环形队列以及机器人闭环控制机制的思想,提出了机械臂的数据“接收-执行”同步机制以及闭环二次容错校验机制,结果表明使用本文的机械臂控制算法有效地杜绝了机械臂异常停止情况的发生,同时有效地降低了机械臂的执行延时,从原先的10.578ms降低至了5.256ms。