基于计算机视觉的人体行为识别具有重大研究价值和应用空间，也是智能视频监控的核心技术之一。本文以人体行为识别研究领域流行的视频数据集为实验对象，较好的识别出了数据集中的各种行为。行为描述的局部表示方法是当前的主流方法，本文提出了一种新的局部时空特征检测和描述方法：先检测图像中的SURF兴趣点再根据兴趣点的光流幅度剔除代表背景的像素点，保留下来的像素点就是最终的时空兴趣点。对时空兴趣点的局部邻域采用SURF描述子和HOF描述子来共同描述。采用本文提出的时空兴趣点检测和描述子，基于词袋模型和LDA实现了人体行为识别，实验结果表明本文的局部时空特征检测和描述方法能够较好的识别Weizmann、KTH、UCF数据集中的人体行为，对光照、遮挡、尺度等具有一定的鲁棒性。本文提出了一种新的关键帧提取技术，在UCF数据集上的实验结果表明该技术能够有效降低算法的计算时间，同时保持行为识别精度。使用关键帧提取技术和本文的局部时空特征检测和描述方法，实现了打架行为的检测，识别率达到95%。