在未来的人与计算机的交互中,计算机要感知人的意图及行为在很大程度上需要依靠视觉系统。计算机视觉传感器具有体积小、被动性及非接触式的特点,可以应用在任何场合。采用视觉对人体步态及行为识别已经引起了人工智能与模式识别研究者的浓厚兴趣,步态及行为识别技术的研究可以促进人工智能和模式识别理论的发展,具有重要的理论意义；步态及行为识别技术在安全智能监控,老年人监护,人员身份认证等应用中都起着至关重要的作用。然而由于现实环境及人体运动的复杂性,步态及行为识别至今仍面临较多的困难。本文研究的目的是为了提高步态及行为识别算法的性能,解决客观环境对识别的影响,促使步态及行为识别技术朝着更实用化,实时性的方向发展。本课题的研究成果及主要创新点如下：(1)提出了基于纹理分析的运动人体分割方法针对在视频图像中,提取的前景人体图像通常含有阴影,为消除阴影,提出采用纹理匹配的方式,使提取的前景人体图像的纹理与背景相应位置的纹理进行匹配,如相近则判定为阴影。在进行匹配时,为提取的前景人体图像建立基于像素点的颜色及纹理的混合特征向量,采用支持向量机进行特征向量分类。实验表明该方法有较好的分割效果。(2)研究了基于子空间的步态识别方法根据步态的轮廓图像序列,计算出表达步态的特征图像,即步态能量图(GEI)及主动能量图(AEI),研究采用基于核的主成分分析法及基于核判别分析法对特征图像进行特征提取及降维,通过核映射将样本数据映射到核空间,再在核空间中实施运算,对运算的特征向量采用支持向量机进行分类。实验表明该方法在固定的条件下有较好的识别率。(3)提出了基于稀疏表示的步态识别方法针对步态识别中识别率高的算法比较耗时,难以实时应用的问题,提出建立以分段的帧差能量图稀疏表示系数作为状态特征的隐马尔可夫模型,对步态的分段帧差能量图进行稀疏表达,建立步态字典,通过快速稀疏分解算法,实现步态的快速识别。同时研究了基于重构误差的步态识别方法及基于区分字典的步态识别方法。实验表明该方法有较高识别率及较少的识别时间,可以应用在实时场合。(4)提出了基于动态贝叶斯网络的步态识别方法针对穿外套、背包等衣着变化对步态识别结果的影响,提出了基于动静态信息相融合的动态贝叶斯网络识别模型,从概率角度对模型进行了推理与学习,并对模型进行了鲁棒性分析。同时根据步态行走的多尺度信息,提出了基于双尺度动态贝叶斯网络及多信息融合的步态识别方法,从整体与局部特征出发,建立动态贝叶斯网络识别模型。实验表明该方法可以大大降低衣着变化对步态识别结果的影响。(5)提出了人体连续行为分割与识别方法针对连续的、长时间的、包含多种行为的运动序列无法分割问题,提出了人体连续行为分割与识别方法,构建动态贝叶斯网络模型对分类的行为序列进行识别；同时构建基于时间序列的连续行为分类网络,通过两次分割来得到最佳的行为分割,第一次采用视频分段识别的方式实现粗分割,第二次采用Viterbi算法在粗分割的基础上得到最佳的行为分类。实验表明该方法有较好的行为分割率及识别率。