基于视觉的人体运动分析是计算机视觉领域的研究热点,在人机交互,视频检索与监控等领域有广阔的应用前景。近年来,基于视觉的人体运动得到广泛研究,人体运动分析主要是从图像或视频中检测、分析人体姿势,理解并描述其行为。然而,考虑到人体姿势的复杂性、遮挡和复杂背景、视点与尺度变化等各种因素的影响,基于视觉的人体运动分析仍然是一个具有挑战性的研究课题。本文主要是针对人体运动分析中行为及手势识别算法这两个关键问题进行研究。本文首先分析了人体运动分析的研究现状,对目前行为识别与手势识别的一些基本方法进行了总结,具体从行为识别和手势识别两方面,介绍了相关的研究理论。在行为识别方面,本文提出一种基于特征层融合和随机投影的行为识别算法。首先对视频提取时空兴趣点,利用时空描述符提取视频序列的时空梯度特征和时空Gabor特征,并以这两个特征为基础进行特征层融合,得到更为完备的特征,以此提高特征的表达能力;同时,使用随机投影对融合后的特征进行降维,降低运算复杂度;然后,采用词袋模型对行为动作进行表示,形成特征单词;最后,为了解决主题模型参数估计迭代复杂的问题,将贝叶斯参数估计法应用于LDA主题模型中,在训练阶段可以比非监督模型提供更多的先验信息,提高识别性能。在手势识别方面,本文提出一种基于随机投影多核学习的手势识别算法。首先对训练图像进行预处理,主要包括Grayworld光线补偿,手势分割,以及形态学等操作;接着,提取手势的SIFT特征;并使用两阶段字典学习法,先采用K-means算法训练学习字典,再使用迭代字典更新算法,不断更新之前学习得到的字典;其次,对分割后的手势图像进行空间金字塔划分,采用局部约束线性编码的方法对特征进行编码;然后,对空间金字塔高维特征使用随机投影降维;最后,使用多核模型,通过学习得到核矩阵的最优组合系数,进行分类学习。