基于视频的人体行为分析近几年在人机交互、智能监控、医疗辅助中所发挥的优势越来越显著，因而吸引了国内外众多学者的广泛关注。基于视频的人体行为分析一般包括人体目标检测、跟踪、行为分析与描述。本文主要工作如下：（1）本文利用最受欢迎的高斯模型法来进行运动目标的检测，在进行形态学去噪后，提取运动目标的外接四边形，并根据该四边形在只有单一或很少运动目标情况下进行跟踪，取得了较为理想的效果。（2）在人体行为识别方面，由于人体颜色多变，纹理相对比较模糊，所以主要采用了形状特征值。其中，形状方面的特征值我们选择了68种，包括Hu不变矩、Zernike矩、紧凑度、离散度、高宽比、拟合椭圆方向、圆度、对称性等。为了减少计算量，本文并没有简单的将直方图的每个bin当做一个特征值来考虑，而是通过与标准的六个姿势所对应的直方图进行比对，将比对的结果纳入特征值的范围。为便于测试，本文建立了包括站立、行走、弯腰、蹲下、躺下、坐着6种行为的图像数据库。（3）我们进行分类的对象不仅包括每帧的运动目标检测结果中的人体，而且包括了运动历史图像（MHI）和运动能量图像（MEI）。运动历史图像主要是用来描述人体的全局和局部运动方向的，为后续的动作识别奠定了基础。此外，本文还考虑了运动目标检测和跟踪中带来的问题，利用平移后的运动历史图像，通过阈值来较好的提取人体的躯干部分。（4）在众多特征值计算完成后，本文利用随机森林来对姿势进行分类。对随机森林的选取，主要原因是在训练数据量较丰富的情况下，其给出的精确度较高，而且可以同时处理大量的特征值，还能给出特征重要性的权重。最后，我们还给出了利用随机森林对站、走、弯、蹲、躺、坐的测试结果。