基于视频的智能监控系统是维护社会安全、影响生产生活、关系学术研究的重要课题之一。首先,本文详细阐述了基于视频的前景检测技术,指出现有混合高斯模型存在两个问题,一个是计算速度较慢,另一个是难以处理光照突变对背景带来的影响。本文从速度方面开始讨论,提出了扫描线更新及模板更新算法来优化速度问题,扫描线更新算法和模板更新算法速度优化类似,但模板更新算法前景结果无明显干扰,同时可以满足实时监控需求。接着,本文从无人行走和有人行走两种场景下,采用三帧差法与混合高斯模型的结合处理光照突变,检测效果远好于原混合高斯模型算法。然后,本文基于改进的三步搜索算法,提出运动矢量评估算法,应用到上下车人数统计系统中去,可以有效的检测出人体的运动方向。本文采集大量原始视频数据,主要从摄像头遮挡、区域检测、攀高检测、打架斗殴等场景下进行人体行为识别研究。首先介绍摄像头遮挡的判断特征,根据灰度值及梯度差异判断遮挡情况,给出了简单场景下摄像头被完全遮挡的实验结果。接着介绍了攀高检测算法和区域入侵检测算法,这两种算法主要利用人体行为检测出的前景图像来判定,并介绍了这两种算法的基本原理及实验步骤,给出实验结果。最后,重点介绍了打架斗殴行为的特点。从全局和局部特征对打架斗殴行为分析,得出规律,给出判断规则,并详细描述了实验的过程。然后从熵值、幅值最大值及区域运动剧烈幅值大值比例来判断打架斗殴行为。实验结果表明,基于场景的算法研究具有良好的检测效果,对上述场景及更复杂场景研究提供了实验依据,奠定了算法基础。