随着我国社会经济的不断发展,人群社会活动数量、规模快速增大。为减轻繁重的人工审核工作,自动化解析视频语义信息成为具有重大社会意义的课题。监控视频中不仅包括视觉特征,更包含复杂多样的人群运动,且通常为人群监控视频的语义理解提供重要的补充信息。因此,对人群动态提出更全面、更高语义级别的建模方式,成为人群分析研究算法的重点。本文调研了目前存在的人群异常检测算法和异常事件数据集,重点介绍了基于多示例学习的人群异常检测模型算法。本文针对此算法仅考虑人群视频视觉特征而不考虑人群动态特征的缺点,提出了基于注意力模型的多模态融合人群异常检测方法。社会力模型从外部环境和自我驱动两个方面对人群行为建模,具有较高层级语义信息。通过训练好的3D卷积网络结构,对人群原视频和社会力视频进行动态信息特征提取,再通过添加注意力模块的深度网络结构,经过多示例学习损失函数的学习,最终的异常检测模型将异常事件预测概率大于正常事件预测概率,从而进行异常检测,同时通过公开数据集上的实验,证明了算法的有效性。其次,本文对现有的人群动态建模方法进行研究,从描述方式和提取动态信息的网络结构两个方向将各种研究方法分成不同类型,并分析比较了不同方法的优缺点。本文从建立更全面人群动态描述子和构建有能力提取动态信息的深度网络结构两个方面入手,提出了能够更加全面地描述在复杂场景下的人群动态的动态属性描述包,其中包括由光流场提取的散度图、旋度图,作为中层的描述局部运动模式的动态属性,一致性描述子、冲突性描述子、稳定性描述子,作为高层的描述群组之间和群组内部相对运动的动态属性。本文同时提出双分支分类网络,使用人群视频的帧图像和对应人群动态属性描述包作为输入进行人群行为识别,通过在公开数据集上的表现证明了算法的有效性。综上,本文充分调研了人群动态描述子的构建方法和动态信息提取网络结构,提出了基于双流结构和人群动态属性包的人群行为识别算法以及基于注意力模型的多模态融合人群异常检测算法,同时进行了充分的实验论证,具有一定的算法创新性和实际应用价值。