随着机器人逐渐深入到社会生产和生活的方方面面,更加自然的智能示教学习能力成为了学术界研究的热点。作为机器人接受外界信息的主要来源,基于视觉系统的操作动作识别成为人机示教学习的基本任务之一。人的行为具有多层次、上下文相关的特点,因而如何结合环境信息与动作信息识别示教时人的操作动作具有重要的研究意义。本文在智能装配机器人示教学习的项目背景下,以示教时机器人能够准确识别装配操作动作为目的,在物体追踪、静态手势的检测与识别和动态手势识别等方面展开研究。本文的主要研究内容和成果包括以下几个方面：1.提出并实现了一种结合全局目标描述和局部模板更新的目标追踪算法。该算法以贝叶斯参数估计作为整体框架,观测模型中提取目标的全局Haar特征经RIP矩阵降维作为观测特征。动态模型部分针对粒子滤波采样产生的各样本,经朴素贝叶斯计算各样本的状态后验,选择后验概率最大的粒子作为当前帧的跟踪结果。其中贝叶斯分类器参数由模板集训练得到,模板更新时,对新加入的模板图像依稀疏表示对该图像的各局部区域进行重建,依据重建误差剔除掉模板图像中受遮挡的局部图像块,避免更新时发生的跟踪漂移。本文在不同数据上测试了上述算法,实验结果表明本文的算法在目标发生遮挡,背景存在相似物及光照变化等情况下,均能稳定的跟踪指定目标。2.设计并实现了基于肤色的人手分割和综合多种静态特征的手势识别方法。通过分析不同人种间肤色像素分布的特点,在非线性YCbCr空间实现了基于肤色的图像人手的定位和分割。针对不同类别的手势样本,先后引入多层HOG和Zernike矩特征描述手势形状,同时考虑到核函数对非线性特征的提取能力,使用KernelPCA提取手势图像像素间的非线性关系作为手势特征,综合以上三种特征,使用最近邻分类方法,对11种不同手势数据进行分类,分类的平均准确度达到了98%。3.提出并实现了基于连续型隐马尔科夫模型的手势操作动作建模,其中手势形状特征作为模型观测,模型的参数经由最大期望算法得到。针对不同的操作动作分别训练得到其对应的HMM模板,依据这些模板分别计算其产生测试样本的后验概率,输出后验概率最大的操作动作作为识别结果。同时,引入各类动作的拒识概率,降低非典型动作引起的系统误识别。依据该算法,本文对零件装配中常见的推、放入、放出、按等四种动作进行分类识别。对于相同手势,不同含义的操作动作,本文提取了操作物的轨迹信息,结合轨迹的矢量运动方向,实现了对不同语义动作的识别。