多人交互行为分析已逐渐成为模式识别研究领域内的一个新的关注点。现有的识别方法大多数假设场景中只存在一种群体行为,而真实的场景中包含多种群体行为,为此本文提出了一种在复杂场景下进行群体行为识别的有效方法,其中包括两个创新点:首先提出一种基于Split-Merge策略的方法对人群进行分组;在人群分组后的基础上对人群提取语义特征,进而通过构建结构化模型来实现最终的群体行为识别。在人群分组阶段,本文将场景中的人用无向权值图直观的表示:图的顶点代表人,每两个顶点之间的权值大小表示两个人之间的交互程度。对于静态和动态的个体,本文分别以社会距离模型和社会力量模型为基础来量化两个人之间的交互程度,即得出两个顶点之间的权值。之后本文将人群分组的问题转化为无向权值图的聚类问题,并提出了基于Split-Merge策略的方法对无向权值图进行聚类,进而实现人群分组。在行为识别阶段,本文首先对分组后的人群内部提取一种视角无关的语义特征,并提取每个人群的运动特征和不同人群之间的语义特征。其次构建结构化模型,该模型把每个人群内部的运动信息、语义信息,以及不同人群之间的语义信息考虑在内。最后本文使用割平面优化算法学习模型参数,对于新的测试样本,使用一种贪婪算法进行推断。本文提出的方法在Coffee Break Dataset和Collective Activity Dataset等数据集上的实验结果表明了算法的稳定性和有效性。