近年来,视频行为识别工作因其在安全防控、智能生活、机器人研究等领域的应用而受到越来越多的关注。随着卷积神经网络的发展,其在行为识别的相关研究中也展示了出色的效果。与图像相关的工作不同,视频行为中存在的很多运动信息加大了识别的难度。传统的双流卷积网络对视频行为识别的效果有一定的改善。然而,对于时间流和空间流之间的信息融合方法还需要深入研究。本文提出了一种创新的双流信息融合网络来更好地融合时域信息和空间信息,以改善行为识别的效果。首先,本文设计了一个时域信息融合模块将从基础网络中提取的原始时域特征进行融合,并生成多种尺度的时域特征,分别是短时时域特征、中时时域特征和长时时域特征,从而提高时域信息的利用率。其次,对于时域信息融合模块生成的多种尺度的时域特征,本文设计了一个多尺度时空信息融合模块,将不同尺度的时域特征与空间特征进行融合。根据时域特征的尺度,将整个时空融合分成三个子模块,在每块中同一尺度的时域特征与其对应的空间特征进行融合。融合时采用时空异步融合的方法从每块中得到不同尺度的时空融合特征。三种尺度的时空融合特征最终整合生成一个多尺度的时空融合特征,用于行为识别。最后,通过在主流数据库上进行实验,我们证明了本文提出的双流信息融合网络的有效性。