基于视频的行为识别是计算机视觉领域的一个研究热点，可广泛应用于基于内容的视频检索、人机交互、视频监控等场景。目前，实现对各种环境和条件均有效的行为识别仍是一件极具挑战的任务，面临的困难主要包括环境和动作主体的复杂性，以及行为的多样性。环境的复杂性体现在背景杂乱和变化、摄像机运动、遮挡等方面;动作主体的复杂性表现为目标具有不同的外观和尺寸;行为的多样性源于行为类别繁多，以及各种行为的执行时间和尺度存在较大差异。　　 本论文针对行为识别展开了研究，其主要工作及贡献如下:　　 1.提出了新的基于视频的行为分析算法框架。在分析现有行为分析研究方法的局限性的基础上，提出该算法框架:分成非语义层和语义层;非语义层中有动作识别、物体识别和场景识别，它们的结果一起被送往语义层;语义层中用基于（统计）学习的方法来识别“行为流”。基于（统计）学习的方法需要大的标注过的样本数据库，本文提出可利用人本计算(Human-based computation)来构建。　　 2.提出了基于2D时空高层特征行为Logo的动作检测方法。行为视频的时空切平面中含有某种特殊的纹理，它是行为的特征，可用来识别行为。本文称这种纹理为“行为Logo”，并提出了基于行为Logo的动作检测算法框架。并进一步提出了基于行为Logo的周期检测算法和具体的跳跃行为检测方法。　　 3.提出了基于3D时空高层特征的快速动作检测方法。给定具有某动作高层特征的3D时空立方块，若在待检测视频中检测到与其相似的立方块，则称检测到该动作。实验证明特征协方差可作为时空立方块的描述子，并且基于特征协方差描述子的快速穷搜可通过积分体技术实现。