随着信息时代的发展,视频数据在日常生活和工作中大量涌现,视频中的人体行为识别也具有巨大的应用价值,涉及智能监控、人机交互和自动驾驶等多个领域,是智能化产业发展的重要任务之一。视频中的人体行为是时间和空间上的动态变化,有效提取行为的时空特征是解决问题的关键。近年来,基于深度学习的行为识别研究发展迅猛,网络结构不断革新,数据形式也涉及骨架、RGB和深度图等多种模态,取得了卓越的成就。目前的行为识别方法大多依靠大数据和高性能计算技术,而复杂场景下识别性能的进一步提升离不开人类思维的指导,其中视觉注意力是适合网络应用的机制之一,注意力机制可以帮助网络高效地提取数据中关键信息。此外,针对不同的数据和任务,应设计相契合的注意力机制,帮助提升网络性能。因此本文在骨架数据和RGB数据上,结合相应的任务,分别设计基于注意力机制的行为识别方法,增强关键信息学习,达到了较高的识别准确率。本文的主要工作包括以下两点:首先,在骨架数据模态下,本文提出一种基于引导注意力的双人交互行为识别方法。骨架数据具有轻量、干扰少的特点,被广泛用于行为识别任务中,但是处理双人交互行为时,仍然存在较多冗余信息,现有方法大多不能有效提取交互特征。针对这一问题,本文提出一种引导注意力下的图卷积网络,用于骨架双人交互识别。该网络以人类的观察经验作为先验知识,设计交互行为的骨架图结构,建立可能产生交互的部位连接关系。以这种预设的双人关系作为注意力,约束图卷积的学习,实现知识引导下的特征提取。实验表明本文提出的方法极大提升了双人交互行为的识别准确率。其次,在RGB视频模态下,本文提出一种基于时空注意力的行为识别方法。RGB视频是广泛存在的数据形式,但其在空间和时间上均存在大量的背景信息,人体行为一般只发生于空间中的局部区域,并且时间上也具备不同的重要性。针对这一问题,本文提出了一种基于时空注意力的行为识别网络,通过设计伪3D卷积中的注意力机制,实现对时空重要信息的增强。在空间维度上,该网络自动定位判别性区域,从中学习行为的关键信息,并综合全局区域的信息进行判断。在时间维度上,设计时间注意力模块自适应计算特征重要性,对重要时刻的特征进行增强。空间注意力和时间注意力在网络中统一搭建,协同增强时空关键信息,可以大幅提升行为识别效果。综上所述,本文主要研究基于注意力机制的行为识别方法,针对不同的数据和任务特点,结合人类视觉的行为分析方式,设计相应的注意力网络,提升特征学习能力,在骨架数据和RGB数据任务上均取得了很好的识别结果。