人体行为识别技术在智慧城市安防、视频检索、人机交互、无人便利超市等领域中有诸多应用,其重要性日益突出。如何有效地对视频序列信息进行时空建模是人体行为识别任务中的一个关键点。许多研究为了更好地对视频序列进行时空建模,采取三维卷积并结合光流等其他运动补充信息的方法,但忽略了所带来的网络难以优化、网络规模与计算量增加的问题。此外,在面临不同行为实例的持续时间长短不一的问题时,许多研究简单地堆叠局部感受野卷积去处理长时序问题,但这样做减弱了远距离帧的信息,因此并不是最优的时空建模方式。针对以上的不足和难点,本文以减少计算量并且提升算法精度为目的,对人体行为识别算法及其应用展开了研究。首先本文提出了一种高效的时空建模算法;然后,将算法进一步扩展至多视角行为识别框架中,提出多视角融合的行为识别算法,并将其应用至电梯轿厢异常行为识别场景中。本文的主要工作及创新性研究成果如下:1.对特征进行了运动信息增强。针对现有方法不足,本文以不增加过多的计算量为前提,设计了一个运动增强重构模块（Motion Feature Enhancement Module,MFEM）,将特征中运动信息增强后,和时空信息归并在一个二维卷积网络中进行高效的编码。22.设计了多尺度时空特征融合模块。为了改善现有方法对时序长短不一的行为进行建模的问题,本文设计了一个多尺度的时空特征融合模块（Multiple Spatiotemporal Modeling Module,MSMM）。不同于现有的时空卷积深度上的简单堆叠或者空间卷积提取特征后融合的方法,本文通过多层次残差结构实现多尺度帧间信息的融合,实现更有效地对长时序时空特征进行建模。最后,将MFEM和MSMM进行有效地集成,提出基于运动增强的时空多尺度特征融合行为识别算法。33.实现了基于视角注意力特征融合的多视角行为识别算法并将其应用到电梯轿厢异常行为识别场景中。为了解决单视角存在的遮挡、语义缺失等问题,将前文所提出的时空建模算法扩展至多视角行为识别框架中,设计了通道级别的视角感知注意力（Channel-wise Viewpoint-Aware Attention,CWVAA）模块,提出了多视角融合的行为识别算法。最后,将算法应用于电梯轿厢,改善电梯轿厢视角下常出现的遮挡问题,提升电梯轿厢异常行为识别的准确率。