基于视频的人体行为分析是计算机视觉的研究热点。本文主要对目标检测、人体跟踪和行为描述与理解这三个模块进行了研究，并开发了一个基于视频的人体行为分析系统。该系统能自动检测、跟踪视频范围内出现的人体（一个或两个），并对每个人体的简单行为进行识别，且能统计出每个人体坐在座位的时间。本文主要工作如下：1.目标检测。本文研究了几种常用的目标检测算法和较新的VIBE算法，并将它们进行比较，实验证明VIBE算法相比其它常用算法取得较好效果。但是该算法不能适应于准静止目标的检测，针对该问题本文结合单高斯模型对VIBE算法进行了改进。最后，将本文提出的算法和几种常用目标检测算法以及VIBE算法进行了实验比较与分析。结果表明，本文提出的算法比几种常用目标检测算法检测效果更好，与VIBE算法相当，并且能检测出准静止的目标。2.人体跟踪。遮挡处理问题一直是人体跟踪中的热点和难点问题，现有的跟踪算法大多数只能处理人体的部分遮挡或者短暂遮挡，对于完全遮挡和持久遮挡效果并不理想。本文采用了基于检测匹配的人体跟踪算法，并结合一种遮挡处理算法来处理人体的持久遮挡问题。实验证明，通过把基于检测匹配的人体跟踪算法和该遮挡处理算法相结合，取得了比较好的跟踪效果且能处理人体的持久遮挡。3.行为描述与理解。本文提取了人体的运动轨迹特征、人体的运动速度特征、人体的相对高度、人体的高宽比和人体区域的Hu矩特征，然后将其进行融合，并利用决策树SVM作为分类器对人体的行为进行分类，取得了比较好的识别结果。