视频中的人体行为识别主要是指对包含人体行为的视频文件或片段进行分类和标记，是近年来计算机视觉和模式识别领域一个非常热门的研究方向，在人机交互、智能监控、视频检索等领域有广泛的应用。在视频中的人体行为识别相关工作中，基于视频的局部时空特征的方法被深入地研究。而在图像特征编码领域，稀疏编码是一种被普遍应用的方法。本文针对基于视频时空特征和稀疏编码结合的视频表示在人体行为识别问题中的应用进行了研究。本文的主要研究工作和创新点如下：1.首先对视频时空兴趣点的检测算法和特征提取算法进行了回顾和比较，分析了各算法的优缺点、适合的应用场景，比较了各算法的性能表现。本文还对稀疏编码的原理和主要算法进行了介绍，并对各算法的特点和优劣进行了详细的探讨。2.针对目前一些基于时空特征的视频表示存在的对于目标行为多次重复的视频特征分布进行不恰当整体编码的问题，提出了一种基于视频时空特征聚类的视频子片段检测的方法，并结合聚类分析的方法自动地选择合适的视频子片段个数，从而使每个视频子片段包含目标行为的一次出现。3.提出了一种基于时空金字塔的匹配和最大汇总结合的方法来生成分割后的视频子片段的表示，并进一步将子片段的表示进行最大汇总生成视频表示。4.最后，用实验结果验证了上述视频表示框架的有效性，并对参数的选择、实验的设置和实验的结果进行了详细的展示。