近年来，随着科学技术不断发展，物质文明和精神文明的不断提高，人们对于安全的重视程度越来越高，越来越多的视频监控系统开始广泛地运用到各种场合，如地铁、银行、宾馆、超市、社区、停车场、校园等，视频监控系统在社会公共安全领域发挥着越来越重要的作用。监狱作为一个高度复杂、人口密集的场所，在押人员不容易管理，智能监控的有效利用可以保障狱警人员、在押人员和社会的安全。对犯罪者日常行为及特殊情况下的监控，是监狱管理不可缺少的工作。在监狱场景中，我们关心视频监控中的异常行为，识别监控画面中的异常情况，并能够以实时可靠的方式发出警报，有效的协助监控人员获取准确信息和处理突发事件以阻止更多危险活动的发生。因此如何将这些异常行为准确检测和识别并及时报警是本文研究的主要内容。本文主要针对固定摄像头下对视频序列进行前景提取、目标行为识别等问题进行了研究，并实现了对一个或多个运动前景的实时异常行为的检测。本文首先介绍了一些基础的图像处理技术，为后续的算法实现打下理论基础。其次，介绍了几种常见的前景提取的方法，重点介绍了高斯模型和CodeBook模型，并且比较了这两种前景提取的优缺点，提出了改进的前景提取算法。然后，本文对几种最新异常行为的识别方法进行了研究和实现，并针对斗殴等剧烈运动的特征复杂且提取速度慢的难题，提出了一种目标轮廓特征检测、目标中心点跟踪和区域光流特征检测相结合的异常行为识别方法。本文使用VC++6.0和开源计算机视觉库OpenCV进行算法的实现，并且通过实验验证了算法的有效性。