人体行为识别是目前计算机视觉领域的研究热点和难点,可以应用到智能监控、高级人机交互、体育运动分析和基于内容的视频检索等方面,开展人体行为识别研究有着重要的社会价值和理论意义。本文的工作主要是基于局部时空特征的人体行为识别方法,针对复杂环境下的人体行为识别存在的问题,结合目前目标检测和识别技术的发展,主要做了以下几方面工作：1、归纳总结现有方法。查阅大量相关文献,对现有的局部时空特征方法进行概述,着重介绍了常用的局部时空特征检测算子和描述算子,为本文后续工作的奠定基础。2、实现了基于视觉码本的人体行为识别方法。目前基于视觉码本的方法是目标识别中的主要方法。首先对局部时空特征使用聚类算法构建视觉码本；其次,将视频表示为视觉码本对应的特征向量；最后使用SVM对视频进行分类,从而实现人体行为的识别。同时,在本文的工作中比较了不同的特征在复杂数据库下人体行为识别的优劣性。3、提出了基于运动差异特征的人体行为识别方法。目前在人体行为识别中,对于运动的描述都是基于视频中光流场的估计。而在复杂环境中,由于摄像机运动,目标运动等原因,使得运动估计存在误差,导致对局部时空特征的运动描述并不准确。在本文的工作中,针对这个问题,提出了使用运动差异特征表示局部时空兴趣点,实验结果表明,本文提出的特征描述算子能够有效提高复杂环境中的人体行为识别准确率。总之,本文在总结现有人体行为识别方法的基础上,实现了基于视觉码本的人体行为识别方法,同时从特征描述这一模式识别的基本问题入手,提出了基于运动差异特征的人体行为识别方法,实验结果表明了本文提出的方法的有效性。