人体行为识别是计算机视觉和模式识别领域最重要的研究课题之一。它具有极高的商业价值和广泛的应用前景,如人机交互、智能视频监控、智能视频检索、智能驾驶等。绝大多数现有的人体行为识别方法主要将研究对象局限于可控环境下录制的视频。然而由于摄像机运动、背景遮挡、视角变化和光照变化等因素的影响,这些方法很难处理拍摄于真实环境下的视频,从而无法满足实际需求,因此,开展人体行为识别的研究具有极其重要的现实意义。目前,人体行为识别的分类方法多为单任务学习,即将行为类别视为独立的任务,为每一个行为类别训练单独的分类器,这种方法的缺陷在于忽略了行为类别之间的内在联系。在现实生活中,行为类别之间往往具有一定的相关性,于是本文将机器学习中的多任务学习方法应用于人体行为识别中。多任务学习可以通过同时学习多个任务之间的共享信息来有效地提高算法的性能。然而,由于某些行为类别之间的相关性相对较强,而某些行为类别之间的相关性相对较弱,因此将所有行为类别全部放在一起学习并不能使识别效果达到最好。本文在多任务学习的基础上加入了行为类别的分组信息,将强相关的行为类别分到同一组,弱相关的行为类别分到不同组,同时学习组内的共享信息和组间的差异信息,从而进一步提高人体行为识别的性能。主要研究内容如下:(1)改进的稠密轨迹特征提取。首先对视频进行预处理,消除摄像机运动产生的影响,然后对视频帧进行多尺度的稠密采样,并对特征点跟踪得到轨迹,再用HOG,HOF和MBH作为局部描述符来描述轨迹特征。最后针对不同的视频中提取到的轨迹数目不一致的问题,采用Fisher向量将不同数目的轨迹特征编码成固定长度的向量,并将其作为视频表征的特征向量。(2)行为类别预分组。由于Fisher向量是由高斯混合模型构建而成,考虑到不同行为类别拥有的高斯分布不一样,因此利用互信息来衡量高斯分布和行为类别的关系,并根据行为类别之间拥有相同的高斯分布越多越相似的原则,计算出行为类别的相似程度,最后使用近邻传播聚类算法将强相关的行为类别分到同一组,弱相关的行为类别分到不同组,得到分组信息。(3)基于分组信息的多任务学习。将每一个行为类别视为一个任务,先在强相关行为类别的组内进行多任务学习,共享组内信息,再对所有行为类别进行多任务学习,学习组间行为类别的差异信息。该方法既考虑到行为类别之间的关联,又考虑到行为类别之间的差异,为提升人体行为识别的性能提供了保障。为了验证本文算法的有效性,我们分别在HMDB51和UCF50数据集上进行验证,实验结果表明,本文提出的算法对人体行为识别具有较好的性能。