人-机器人交互系统要求指令输入设备具备廉价、轻便、准确和易于使用等特点,适用于卧室、医院、教室、广场和森林等多种室内外场景。人类自然交互过程中主要依靠语音和动作传达信息,近年来对基于语言的交互方案已有广泛的研究,而对基于动作识别的交互方案的研究较少。现有能够高精度获取人手动作的设备,如Qualisys和Xsens等,价格昂贵且使用配置和维护均复杂;而廉价、易操作的设备,如Kinect,又会因手部位置遮挡等因素难以正确识别动作。在上述背景下,本文开发了一套基于深度相机与惯性测量单元多传感信息融合的双手臂运动跟踪与动作识别系统,并对这一类系统中的一些共性问题进行了探讨,最后将该系统应用到双手爪攀爬机器人的高空攀爬任务中,协助机器人更高效、安全地执行任务。本文主要工作与创新如下:1、在深度相机与惯性测量单元位置时变的情况下,很难实现传感器间的相对姿态的准确标定,目前尚未有解决该问题的公开报道。本文针对该问题提出了一种创新的方法,利用刚体转换不变性原理构造求解模型,并使用奇异值分解与最小二乘法求解,最后给出一种误差评价的参考标准,实验表明标定精度在±4°以内,且标定后的手部运动跟踪效果明显优于未经标定结果。2、深度相机视角被遮挡时,会从相机中获取到的错误的双手位置数据,导致运动跟踪失败,并严重影响后续的动作识别。本文基于深度相机与惯性测量单元运动数据的相关性,构造一种新型的手部遮挡状态特征描述子,结合支持向量机进行遮挡识别,最后使用卡尔曼滤波器进行传感器信息融合对错误数据作处理。实验结果表明遮挡识别的平均准确率高达92%,平均召回率高达89%,且能对遮挡后手部位置进行跟踪。3、当操作者相对于深度相机的位姿发生变化时,所获取到的原始数据往往也会改变,针对该问题提出了一种以人体躯体为参考系的动作特征向量构造新方法,并使用高斯混合模型作为动作建模与识别的方法。4、双手爪攀爬机器人具备环境感知和路径规划能力,能够在璧面或杆件上通过交替变换固定端的方式自主前行;但因其环境感知能力较弱,在高空攀爬过程中受到障碍物遮挡或强光干扰时往往无法高效、安全地执行任务。本文针对该问题,提出了一种结合人类较强的环境感知能力与机器人自主运动能力的半自主人-机器人交互方法。针对该应用场景设计了三种与机器人基本攀爬步态对应的动作指令,并使用上述的动作识别算法进行处理,实验结果表明动作识别正确率为93.3%。