计算机视觉的快速发展为当今—系列的视频处理任务铺平了道路,例如海智能视频监控,无人驾驶等等。而人群行为理解征,尤其是高密度人群场景下的行为理解是将计算机视觉应用在交通控制和视频监控的关键之一。这是一个十分复杂的任务,因为人群场景意味着海量的行人数据(大量的行人目标的外观和动作数据)。但已有的研究表明,人群中的每个行人的动作模式由时间信息和空间信息两个关键要素组成:时间信息(例如行人的动作模式会随着时间变化而多变)和空间信息(行人的动作模式会受到其他行人的影响)。着眼于此,本文做了如下的研究:(1)基于社交动作特征的遮挡处理机制在行人目标跟踪领域中,遮挡处理作为引起目标混淆和目标消失的原因而被广泛研究。现有的大部分研究都认为,运用行人目标的外观特征,或者利用场景知识是解决这一问题的关键。不同于这些的研究,本文提出利用时空信息的模型-社交动作特征来克服这个问题。在本文中,社交行为模型探究了处于遮挡状态下的行人目标的动作模式。通过在PETS和TUD-Crossing数据库上的实验对比,本文算法得到的结果有了明显的提升。(2)行人路径预测中的编码时空动作特征行人路径预测是人群行为分析中的一个新兴研究方向。而在目前的相关研究中,很少有工作考虑同时考虑到行人间的交互(空间信息)和行人本身的动作模式(时间信息)的关键作用。基于这一点,本文提出了一种有效而且高效的人群中的行人路径预测架构。首先,本文提取出了目标行人和其交互信息的动作特征。之后,本文运用自动编码机对提取出的动作特征进行编码,以提高动作特征表征能力。高斯回归模型通过学习编码动作特征和行人的运动轨迹来推断出目标行人的未来路径。通过与其他方法在极具挑战性的数据库上的对比,本文提出的模型远远超出了传统的路径预测方法。(3)联合学习时空信息深度神经网络人群行为分析是一个极为挑战和复杂的领域,因为在人群场景中通常会在同一时间有多个行人的动作行为产生。考虑到传统机器学习算法面对海量数据的局限性,深度神经网络在大数据设定中去的了极好的效果。在最新的有关人群行为分析的深度神经网络成果中,时空信息通常被分开来处理。本文作者认为,由于人群场景中的时空信息同时产生,而且相辅相成,联合学习时空信息能取得更好的效果。因此,本文提出了一种端到端的深度联合时空学习神经网络,相比与现有研究中分开处理时空信息的算法,能够达到更好的人群行为分析结果。本文首先通过行人过去的轨迹提取出行人的运动信息,这个信息被用于提取出表征能力更强的卷积特征。之后,卷积特征被用于一个基于长短时记忆循环网络的深度神经网络来联合学习时空信息。本文通过三个不同的大数据环境下实验-行人路径预测,目的地估计和人群场景分类-验证了提出算法对于其他深度神经网络算法有着显著的优势。