在计算机视觉领域,人体行为识别占有越来越重要的地位,因为它在视频检索、智能监控等方面应用的高效性,使得人体行为识别具有很高的研究价值。给定一个包含人体行为的视频,人体行为识别旨在识别出视频中人体行为的类别。近年来,随着深度学习技术的发展成熟,人体行为识别的识别率已经有了较大的提升,但是由于人体行为的复杂性,如何高效准确地提取人体行为特征,设计一种高精度、速度快的人体行为识别算法仍是巨大的挑战。双流卷积神经网络在人体行为识别中表现出卓越的性能,其关键点在于利用视频帧和通过帧预先提取的光流图像来各自训练一个模型,并在网络产生结果之后,对结果做一个融合。然而,对光流的预提取的依赖阻碍了人体行为识别的效率,并且时间流和空间流仅在末端简单地融合在一起,并不能充分利用视频的空间线索和时间线索。为了缓解对于光流预先提取的依赖性,本文提出了隐双流人体行为识别算法。在隐双流人体行为识别算法的基础上,为了捕获视频空间特征和时间特征的相互作用,本文提出具有协作学习的隐双流人体行为识别算法。本文的主要工作如下:(1)本文提出了隐双流网络(Hidden Twos-Stream Network,HTSN)来解决原有人体行为识别方法需要预先提取视频光流的问题。HTSN由空间流网络、隐时间流网络和自适应加权学习模块组成。空间流网络用于提取包含帧图像表观信息的空间特征,隐时间流网络用于学习视频帧之间的光流信息并提取时间特征,最后通过适应加权学习模块融合空间流和时间流的预测分数得到识别结果。实验表明,该方法与原有的双流方法相比,不需要预先提取光流,节省了预先提取光流的额外的存储,网络的速度得到显著性了提高。(2)本文提出了具有协作学习的隐双流网络(Hidden Two-Stream Collaborative Learning Network,HTSCLN)。HTSCLN在HTSN的基础上加入了协作学习模型,旨在充分的利用视频的空间线索和时间线索。协作学习模型能够使空间特征和时间特征相互学习以增强表示,提高人体行为识别的准确性。实验表明,HTSCLN不需要预先提取光流,节省了光流图像的存储空间,并且捕获了视频空间特征和时间特征的相互作用。另外,HTSCLN在UCF101,HMDB51和THUMOS14数据集上都取得了理想的效果。