群组行为识别已经成为计算机视觉、人工智能等领域的热点课题,其对体育赛事分析、异常行为检测及预警、实时人群场景的视频分类等方面具有重要价值。它也是一项具有挑战性的任务,主要面临两个难点,一是如何构建群组成员间的交互关系;二是如何从时序上优选区别性强的时空特征构建简约的行为描述符。现有的方法大多采用时空全连接的网络架构,这会使网络负荷过大,影响群组行为识别算法的训练,进而影响识别精度。本文提出了基于交互关系简约建模的群组行为识别框架和基于GAT-Transformer的群组行为识别框架,旨在解决这两个问题,其主要研究内容和贡献如下:（1）基于交互关系简约建模的群组行为识别框架。对于第一个难点,将群组成员间交互关系演变由图卷积网络（Graph Convolutional Network:GCN）中节点连接图的更新迭代来描述;其每个节点成员由外观特征、位置特征以及轨迹特征来描述,GCN可根据所有节点成员描述符计算得到的交互关系矩阵、节点特征集合和共享权重矩阵进行所有节点成员信息的聚合,并将聚合信息多的节点,称为关键节点;仅由这些稀疏关键节点构建的交互关系即为简约交互关系。对于第二个难点,提出将当前帧预分类出成员行为属性和群组行为类别的交集相似度系数（I ntersection Similarity Coefficient:ISC）作为当前帧的时序权重,来进一步简约上述交互关系旨在构建强区分性时空特征描述符,最后由softmax层分类器,实现个人行为识别和群组行为识别。该算法在Volleyball数据集和CAD（Collective Ac tivity Dataset）上分别取得93.8%和93.6%识别准确率,并与其它算法比较验证了其有效性。（2）基于GAT-Transformer的群组行为识别框架。由于GCN确定关键成员的方式是根据节点成员间交互关系特征进行节点成员信息的融合,其缺点是将所有的交互信息（如:外观、位置等）都同等对待,故不能将节点成员之间的交互关系更好地融入模型中,故提出了将群组成员间交互关系演变由图注意力网络（Gra ph Attention Networks:GAT）中节点连接图的更新迭代来描述;其每个节点成员由姿态特征、外观特征和位置特征来描述;其内置注意力机制在迭代中分离出权重系数不等的节点,注意力系数越大的节点聚合的信息多,称为关键节点,仅由关键节点成员构建的交互关系即为简约交互关系。此外,交集相似度系数要另外设计子网络得到成员行为属性得分,这样会增加网络的复杂度,故提出了用改进的Transformer中两个并行的时间编码器分别对个人行为特征和上述简约交互特征进行编码,再通过时间解码器将两者进行匹配,其中编码后的个人行为特征视为“Key”,编码后的简约群组交互特征视为“Query”,根据自注意机制和多头注意机制计算两者的相关性程度来比较不同帧的权重,从而找到关键时间片段。该算法首次使用GAT和Transformer结合的方式,在Volleyball数据集和CAD（Coll ective Activity Dataset）上分别取得95.5%和96.1%识别准确率,实现了群组行为识别精度的突破。