视频人体行为识别作为模式识别和计算机视觉领域的热点研究方向之一,在智能视频监控、人机交互、异常行为检测、视频检索等方面具有广泛的应用前景。行为识别研究的目的是利用现有的计算机技术使机器能够像人类一样具有识别、分析、理解以及预测人体行为的能力。视频人体行为识别技术尽管已取得了长足的进步与发展,但是,当前仍然面临如何高效、准确地获取、描述人体行为特征,进而学习特征之间的关系、融合特征以及行为建模等各个方面的问题。为了解决上述问题,我们以局部特征作为切入点研究人体行为模型的识别算法。总的来说,本文的研究内容和创新性工作总结如下：1)有效的局部特征和描述符由于成像设备的运动,基于跟踪兴趣点提取的局部特征包含了来自运动场景的不相关信息,同时单一模式的方向量化致使方向被误划分。针对这一问题,我们提出了跟踪相对运动点和多方向模式量化轨迹方向的行为模型。该方法采用超像素分割和能够抑制相机匀速运动的运动边缘检测器选择有效的轨迹起点。对于轨迹形状的表示,采用预定义的多重方向模式量化轨迹的方向信息,经过每个模式的量化,串联组合作为轨迹形状的描述符。在KTH(瑞典皇家理工学院)和UCF-sports行为数据库(美国University of Central Florida)上,实验结果证明,提取的相对运动点轨迹能够描述感兴趣对象的运动变化,多模式方向统计描述符增强了轨迹形状特征的鲁棒性。与相关文献的识别结果比较,选择轨迹起点提取的特征在MKL融合框架下获得了较好的识别性能。2)基于分层树结构字典的稀疏编码稀疏编码能够自适应地表示信号。然而,学习的字典缺少原子之间的关联,信号的相似性在编码后缺失。考虑到结构化稀疏表示的鲁棒性,我们提出了树结构的字典学习和编码方法。该方法以分层的方式,逐层学习字典原子,并建立上下层的子字典原子之间的关联。具体来说,以标准的字典学习为基础,凸优化算法引入数据点编码路径约束,即上层编码选择的字典原子索引规划下层字典选择的原子。实验结果表明,局部特征的稀疏表示具有较好的鲁棒性。在KTH数据库上,与其他相似文献的识别结果相比,基于树结构字典编码建立的行为模型获得了较好的识别结果,树结构的编码模型优于标准稀疏表示的方法。3)分层特征组的行为模型 在复杂的人体行为识别领域,空时关系在描述行为原型时显示出了较强的判别性。然而,在欧式距离度量下,采用不稳定的时空兴趣点构造组合特征如凝集统计、特征对等可能导致同类行为的描述符缺失语义意义和鲁棒性。针对这一问题,考虑人体运动具有层次化和结构性,在分层框架下我们提出了分层特征组的行为模型。该方法利用运动补偿和人体部位属性抑制运动场景信息,采用自适应尺度核的密度聚类算法产生人体部位特征。具体来说,运动补偿ROI后,依据人体运动部位的空域局部共生和时域持续的属性,选择时域差分的残差信息,之后采用自适应尺度核Mean-Shift密度聚类算法标定底层特征、学习人体部位的特征组。在人体部位表示的基础上,累积视频窄切片的视觉词响应描述人体对象。在基准的KTH和UCF-sports行为数据库上,实验表明基于特征组建立的行为模型增强了行为表示的判别能力,提高了识别性能。4)基于人体部位特征树的行为模型基于传统方法学习的时空内容缺乏语义意义和时间关系。针对这一不足,我们提出了不同时间分辨率人体部位之间的树结构关系模型。该方法采用超像素标定兴趣点,产生空域语义共生点集。在空域共生点集合的基础上,以递归的方式构建特征树。为了产生特征树的高层节点,采用图像块匹配的方法融合时间近邻的节点。基于超像素建立的共生域表示人体部位具有较好的灵活性。另外,通过图像块匹配关联时间近邻节点降低了点集合之间匹配的难度。在KTH、UCF-YT和HOHA行为数据库,实验证明学习的特征树模型能够建立人体部位之间的关系,提高了行为描述符的判别能力,同时在多核学习框架下获得了期望的识别结果。5)判别共生统计特征的概念特征对行为模型K-means量化局部特征容易产生较大的量化误差,同时传统的共生统计忽略了特征对的方向和相对距离信息。针对这些问题,在共生统计框架下我们提出了判别共生统计特征的概念特征对行为模型。为了学习概念特征,采用局部流形约束的稀疏子空间聚类算法量化STIPs。为了增强局部共生统计的判别性,特征对的方向和相对距离信息嵌入到概念特征对共生矩阵。另外,考虑到人体行为风格的多样性,多时间尺度时空体的内容信息被用来描述行为。在特征融合阶段,采用多核学习融合多时间粒度的共生统计和点特征的行为表示作为SVM分类器的最终输入。在KTH和UCF-sport行为数据库上,通过实验验证,与点特征行为模型相比,学习共生统计特征的概念特征对具有较好的判别能力,同时MKL组合特征在分类器SVM框架下获得了较好的识别性能。