人体行为识别是目前从海量的视频数据中获取、处理与分析信息的一个重要的手段。由于复杂环境容易导致背景冗余轨迹的误提取,能否从全信息记录的稠密轨迹中准确提取描述前景运动的轨迹,将决定能否提取有效区分不同类别行为的特征。本文主要针对稠密轨迹行为识别在光照变化、摄像机移动等复杂条件下误提取大量背景运动轨迹的问题进行研究。主要创新点如下:1.提出了一种基于“候选-约束”双层前景先验分布的时空显著轨迹选择方法。针对基于前景建模的轨迹选择方法中轨迹显著性计算复杂度大的问题,在候选层中利用单点像素的时空视觉先验分布定义像素点显著性,以去除伪运动点;在约束层中使用轨迹的视觉先验分布约束定义轨迹显著性,以去除伪运动轨迹。约束层的判别策略使候选层可以降低显著性的判别条件,达到大量降低计算复杂度的要求。针对直接抽样轨迹聚类的词袋模型中不同类别对单词贡献不平衡,导致类间相似轨迹的差异性难以表达的问题,为保证每个类别对词典的贡献相同,采用“类内抽样-类内聚类-类外聚类”的三层金字塔聚类得到词典。实验证明,基于“候选-约束”双层前景先验分布的时空视觉显著轨迹选择方法行为分类正确率相比其他稠密轨迹选择方法最少提高0.9%。2.提出了一种基于背景“灰度-光流”双流增量低秩分解的显著轨迹选择方法。针对基于前景建模的轨迹选择方法会丢失必要的运动区域内部轨迹以及对摄像机运动敏感的问题,考虑摄像头引起的背景运动在相同时间段具有相似特性,在时空视频子块中分别提取灰度值与光流分量对背景运动模式建模;然后从低秩矩阵分解的稀疏残差矩阵中获得显著图;最终根据显著性图分别提取灰度流与光流的显著轨迹,得到多视角融合的显著轨迹集。通过对比实验证明,基于双流增量低秩分解的显著轨迹选择方法行为分类正确率相比基于局部强化帧差的方法提高0.17%,相比其他稠密轨迹选择方法最少提高0.9%。