行为识别是指利用计算机视觉技术对视频中出现的行为进行描述和识别,是计算机视觉领域的重要研究课题。近年来,不断有新的技术和方法被应用到该任务中,但是大多数的研究都是基于可见光视频,而基于红外视频的行为识别研究发展缓慢且不成熟。然而,在一些需要全天候监控的场景下,可见光和红外视频能形成很好的互补,甚至缺一不可。针对这种情况,本文开展基于可见光和红外双模数据的行为识别方法研究,具体研究工作如下:首先,本文在大量调研现有行为识别数据集的基础上构建了可见光、红外同步的双模行为识别数据集。该数据集包含12个日常行为类型,每种数据模态下一个行为类型有50个视频样本。共1200个样本。拍摄时考虑了场景变化、角度变化、前景遮挡、背景干扰和季节变化等因素。构建完成后,本文选取了几种目前行为识别领域常用的算法对双模数据集进行了评估。然后,针对双模数据集中的红外数据,本文改进了一种基于加权密集轨迹特征和深度学习特征融合的红外行为识别方法。针对红外数据依靠自身热辐射成像的特点,该方法对密集轨迹特征进行了改进,在密集轨迹特征中加入了灰度值权重,给人体目标上的兴趣点提出的特征赋予更高的权重。接着对改进的人工设计特征与深度学习特征进行了决策级融合,最终得到72.92%的识别准确率。最后,在以上工作的基础上,本文提出了一种基于可见光和红外双模数据的多特征融合的行为识别方法。该方法将可见光数据和红外数据分为两个独立的通道来处理,可见光通道提取图像的光流卷积神经网络全连接层特征和时空金字塔池化层特征,红外通道提取运动历史图的外形信息和加权的光流方向直方图信息。每个通道通过不同的特征表征行为的外形和运动信息,然后利用自适应融合模型对两个通道的特征进行自适应融合。实验结果表明,该方法在双模数据集上得到了比现有算法都要高的识别准确率。