行为识别是计算机视觉领域的重要研究方向之一,在智能监控、视频检索、视频摘要、智能机器人和人机交互等系统中有着广泛的应用。与目标检测和识别等计算机视觉问题类似,行为识别方法的关键是视频的特征表示。由于自然场景视频在背景、视角、尺度和光照等方面巨大的差异性,及人体行为在外观和执行方式上的多样性,视频的特征表示方法深具挑战,且极大程度上影响行为识别方法的性能。特征表示方法将视频从样本空间映射到特征空间,依据特征所含语义信息的多少,可以将其简单的分为低层、中层和高层三类。本论文在分析和总结已有的视频特征表示方法的基础上,对基于中层特征表示和高层特征表示的行为识别方法进行了研究。首先,基于对低层、中层和高层特征表示三者之间关系的分析,提出了一种分层的特征图模型,该模型以视频的低层特征为基础,通过逐层地构建特征图来得到视频的高层特征表示,每一层的特征图整合了特征的自身信息与特征之间的时空关系,能更完备的描述行为。为了使用分层的特征图模型识别行为,本文具体地描述了各层特征图的构建方法,并提出了一种分层的图匹配方法计算视频之间的相似度。在公开的行为数据集上的实验结果验证了本方法的有效性。其次,考虑到高层特征表示能力的不足,及中层特征较好的表示能力和判别能力,提出了一种基于中层行为部件自动挖掘的行为识别方法。该方法通过训练候选的行为部件检测器和选择有效的行为部件检测器来解决行为部件的挖掘问题。为了得到候选的行为部件检测器,提出了结合特征白化和交叉验证的训练算法；为了选择有效的行为部件检测器,提出了Coverage-Entropy Curve评估检测器的能力,并定义检测器之间的相似性度量减少冗余度。在多个公开的行为数据集上的实验结果表明本方法挖掘的行为部件能有效地识别行为。然后,针对行为部件挖掘算法中有效行为部件检测器的选择问题,提出了基于特征选择的行为部件自动挖掘方法。由于常用的选择算法通常采用启发式的准则,未能直接地分析检测器分类行为的能力,也不能保证选出的行为部件检测器能最优地识别行为,因此,本文通过分析行为部件检测器与行为分类问题之间的关系,将有效行为部件检测器的选择问题转化为标准的特征选择问题,并从两个不同的角度,分别提出基于SVM和稀疏表示的求解算法。本方法在多个公开的行为数据集上进行了实验,获得了突出的识别结果。最后,本文对所做的工作进行了总结,并结合本文工作的不足之处,简单地阐述了本文后续的研究内容。