人体行为识别作为计算机视觉研究热点,在智能监控、人机交互、运动分析等领域具有广泛的应用前景。本文运用时空特征协方差矩阵表征视频中人体行为,分别研究并改进了基于Log-Euclidean词袋模型与基于Stein核稀疏编码的人体行为识别算法,主要内容如下:1.针对行为描述子,探讨了特征协方差矩阵表征人体行为,协方差矩阵不仅能融合不同类型的特征,且维数较低,是强有力的行为描述子。针对行为特征提取,综合分析梯度与光流的行为表征能力,重新组合改进梯度光流特征表征边缘与运动特性,同时引入了鲁棒性高的基于时空轮廓信息的外观特征。2.研究了一种基于改进的Log-Euclidean词袋模型的算法。提取视频段中时空立方块特征协方差矩阵,为了利用欧式空间几何特性,将协方差矩阵转换为Log-Euclidean空间向量。改进Log-Euclidean词袋模型进行行为建模,采用谱聚类代替传统的聚类算法进行字典学习,谱聚类操作简单,性能优于传统聚类方法如k-means,采用局部约束线性编码代替软/硬编码、稀疏编码等,重构良好,局部平滑稀疏,且可快速计算。结合空间金字塔模型进行特征池化,整合行为特征,采用非线性支撑向量机进行分类识别人体行为。3.研究了一种基于Stein核稀疏编码的算法。为避免时空立方块特征协方差矩阵的高计算复杂度与数据冗余,提取视频中相互重叠的视频段特征协方差矩阵,保证行为特征多样性;为了改进视频段特征协方差矩阵的判别能力,引入基于对称正定矩阵空间的协方差矩阵降维方法,不仅可降低维度而且可以增加数据类内聚合度和类间离散度;结合视频段特征协方差矩阵与Stein核稀疏编码构建行为识别框架,结构简单且识别准确率较高。研究仿射不变黎曼度量或Stein度量下的近邻分类方法;自制监控行为数据库,分析算法实用性。