基于视频的人体行为识别是计算机视觉的热点研究领域及重要分支之一,旨在让计算机自行识别视频中人的动作与行为,并广泛应用于智能监控、视频检索和虚拟现实等诸多领域。随着其市场需求的持续扩大以及计算机运算能力的不断提升,人体行为识别的研究吸引了众多国内外学者并得到空前发展。但由于人体运动模式的复杂性、不确定性以及目标对象所处环境的多变性,使得人体行为识别的研究面临挑战。本文以视频的局部特征和全局特征为出发点,融合两种互补特征从而完成识别,对人体行为识别中的特征提取、特征编码和特征融合进行了深入研究。首先,本文研究了人体行为识别的经典框架并通过全局特征和局部特征的视角,讨论了目前经典的特征提取方式。由于运动历史图能够非常好地体现人体动作发生的时空位置,也能直观表明人体动作发生的先后顺序,故本文决定采用运动历史图作为人体行为识别的全局特征。运动历史图像是一种静态的时间模板,依据相邻帧之间的像素变化而形成并通过其像素亮度得以体现。其次,由于密集轨迹算法考虑了每个视频时空体内包含的梯度直方图、光流直方图和运动边界描述符,很好地保留了视频的空间结构信息,因此本文决定采用密集轨迹特征作为人体行为识别的局部特征。首先,建立不同尺度的图像金字塔,以固定步长为间隔对各个尺度下的像素点进行均匀等间隔粗糙采样,再利用判别准则对均匀点进行筛选,从而得到需要跟踪的点。为了避免跟踪过长导致像素点漂移,限定每次跟踪帧的数目,且以定长帧数内跟踪到的密集轨迹为基础引出不同描述子并进行特征编码。最后,本文融合密集轨迹特征与运动历史图进行人体行为识别。采用串联级融合方式形成新的特征并用于行为分类,从实验结果可以看出来,基于密集轨迹和运动历史图的人体行为识别能够取得更好的识别效果。