群体行为分析与理解作为一个复杂、多样、具有挑战的领域近年来吸引了很多研究机构的关注。在视频监控、人机交互、多媒体内容理解等方面，群体行为分析都是重要的组成部分之一。它对于相应的目标行为检测、跟踪和场景建模都有很好的作用，是一项基础和有意义的工作。那么，作为群体行为分析和理解的基础，合理有效的群体行为语义表达就显得尤为重要。本文从群体行为的不同层级语义表达分析与理解角度阐述，以群体行为异常检测和挖掘群体行为模式为目标，旨在分析和研究基于监控视频的有效的群体行为语义描述方式和群体行为语义模式挖掘的合理方法。并提出了相应的群体行为的语义表达概念和基于表达的应用框架，通过大量标准数据库的实验，对理论框架和算法进行了验证。文章首先探究了群体行为分析的底层特征与高层语义之间的语义鸿沟，分析社会行为模型对于群体行为交互的影响，对比传统的经典社会力模型和方法，提出了符合社会行为模型的社会属性假设。以社会属性假设为出发点，建立了具有场景尺度估计和语义上下文结合的社会属性力中层语义表达模型。建立的社会属性力模型有效的从上下文语义揭示了群体行为交互的本质结构，通过有监督和无监督学习的方法，进行全局和局部的异常检测的应用。在此研究基础之上，通过对于群体社会属性假设的延伸，提出了合理的群体行为情感规则，建立了基于运动特征的Arousal-Valence（激励度-唤醒度）情感模型，进而对群体运动特征进行高层表达，得到群体行为的情感轨迹，并应用到群体全局异常检测和群体行为模式匹配当中。实验结果展示出我们提出的语义表达模型的正确性和合理性，从而证明了理论应用框架的有效性。整个研究过程从群体社会行为有底层特征的语义鸿沟出发，以合理的假设为依据，自底向上提出了不同层面的行为语义表达，并解决了语义表达对应的应用理论框架。对于后续研究提供了有价值的参考。