从静态图像中估计人体姿态以及从视频中识别人体行为,一直都是计算机视觉和模式识别领域中的研究热点,具有广泛的应用前景。这两个问题都涉及分析人体在图像中的特征，都面临如何消除表象差异、背景杂波、光照阴影等因素的干扰，具有极大的相关性。本文结合这两个问题中的相关技术：利用行为识别中的视频分析技术提高姿态估计的准确率，再利用从视频中提取的姿态序列从不同角度描述人体行为，提高行为识别效果。本文通过在多个公共数据库上进行实验比较，验证本文算法在姿态估计和行为识别的有效性。本文主要成果包括以下几点：1.提出基于时空分析的视频前景分割算法。该算法将信号处理中的Gabor滤波用于分析视频中像素的时域变化过程；根据Gabor滤波结果对视频进行粗划分，分别建立描述前景和背景的全局颜色模型和局部颜色模型；最后根据颜色模型对视频进行基于像素级和区域级的双重标记，能够较准确地分割复杂视频中的前景区域。2.提出基于姿态句子的人体姿态描述方式。本文首先将人体关节和肢体统一建模为人体的基本部件；再按姿态特征将部件的姿态空间划分为若干个类，每一类构成一个姿态单词，将关联的姿态单词组成姿态句子用于描述全身姿态。本文将LBP运算用于HOG描述子，提出梯度方向局部模式描述子。该描述子在梯度灰度直方图的基础上，比较邻域内不同方向的梯度幅值，提高对于不同人体区域中梯度方向分布变化的敏感性。3.本文将消息传播算法用于推断图像中后验概率极大的人体姿态。为了提高模型的训练效率，本文提出流形空间中基于隐支持向量机的模型训练算法。通过将超高维的姿态特征向量投影到较低的流形空间，移除原始特征向量中冗余信息和干扰信息，再在流形空间中采用增量式的隐支持向量机训练模型。本文学习算法能够在不影响估计效果的前景下，大幅度地提高训练效率，减少模型训练所需要的时间和储存空间。4.本文提出基于姿态序列混合特征的人体行为识别算法。首先，本文对视频中人体区域像素集的颜色分布、位置特征、光流场等进行聚类分析，获取肢体掩膜并用于提取姿态序列；其次，本文对视频中肢体端点的运动过程建模，利用卡尔曼平滑矫正端点轨迹，平滑姿态序列；再次，本文提出一系列基于姿态序列的行为特征，从不同角度描述人体行为；最后，本文采用混合条件随机场模型学习和识别行为，针对每类特征独立训练隐条件随机场模型，再综合不同模型的识别结果，提高算法的健壮性和抗干扰能力。