动作识别是计算视觉领域的主要研究内容之一,复杂动作的准确理解对于服务机器人、增强现实和视频监控领域具有重要作用。现有技术在徒手动作识别方面已经取得了长足的进步,但对于手持物体的复杂动作识别问题,由于遮挡、手和物体铰连等影响,尚不能达到理想效果。为解决这一问题,本文基于彩色、深度数据和肌电数据,对人体3D骨架特征、肌肉状态特征和交互物体特征分别进行了研究,并在此基础上提出了基于多元特征融合的人体复杂动作识别算法,具体研究内容如下:(1)提出了一种基于3D骨架和肌肉状态的多模态特征融合的动作识别方法。针对复杂的手持物体、非手持物体动作,分别提取了骨架局部聚合描述子特征和肌电局部聚合描述子特征,进而构建了多粒度特征来表述复杂人体动作,并利用多核学习方法使用不同核函数将两类特征进行融合并完成动作识别。(2)提出了一种基于形状特征的物体识别方法。首先对物体轮廓提取重心、圆度、形状上下文等66维特征,随后使用基于K近邻、决策树、概率神经网络、模糊规则和随机森林的特征选择方法对原始特征集进行选择获得5个差异化最优特征子集以训练差异化模型。在局部分类器融合阶段,在5个特征子集上使用同种分类算法训练出5个差异化分类模型组成局部分类器集合。在全局分类器融合阶段,使用K近邻、决策树、概率神经网络、模糊规则、随机森林、梯度提升树和支持向量机建立7个局部集合并融合7个局部集合结果完成物体分类任务。(3)提出了一种基于多特征的手物交互识别算法。首先使用Kinect摄像头获取人体彩色图像数据、深度图像数据并使用Openpose开源框架获取骨骼点的三维坐标数据。然后根据手部与头部的距离对动作进行关键帧自动提取,并对关键帧提取相对距离特征以描述动作、提取局部占用模式特征和HSV颜色空间特征以描述物体,最终进行特征融合并完成复杂动作识别任务。