人体目标检测和分析是计算机视觉和模式识别领域最热门的研究方向之一,在视频安全监控、智能安全驾驶、智能机器人等领域有着广泛的应用前景和市场需求。该课题主要研究人“在哪里”、“干什么”、“多少人”这几个问题,利用计算机技术分析图像或视频中人的位置、识别其行为以及粗略地统计人数,分别对应于计算机视觉中的行人检测、行为识别和人群计数任务。人体目标检测和分析任务在很大程度上依赖于对图像或视频内容的理解和表示,所以如何生成辨识能力强的特征表示(即特征学习)成为关键问题之一。传统方法主要是提取图片的边缘、颜色、形状等底层特征描述子,并结合词包模型、稀疏编码模型等框架,生成最终特征描述的列向量。虽然这些方法简单有效,但是已经无法满足多目标相互遮挡、复杂噪声背景情况下的特征表达。近年来,国内外很多研究机构和高校展开深入研究并取得一定进展,但是,仍然存在很多问题需要解决。本文针对人体目标检测和分析任务,围绕特征学习的相关问题,结合稀疏编码、多核学习、深度学习等知识,研究如何生成具有较强代表性和区分性的特征表示。本文的主要工作和贡献总结如下:(1)提出一种新的shallow-deep特征用于行人检测任务。传统的ACF检测器采用HOG+LUV特征通道结合Adaboost分类器。然而,仅使用简单的边缘、颜色信息作为特征,忽略高层的语义信息和上下文信息,会降低特征表达能力。因此本文提出将深度语义分割特征图融入到ACF的浅层特征通道中,shallow-deep特征同时融合了图像的浅层外观信息和高层语义信息。此外原始ACF检测器仅采用简单的求和池化方法,忽略大量有效信息,我们手工设计各种不同方向的checkboard-like滤波器对特征图做卷积操作,滤波后的通道响应可以捕捉更多高层抽象信息,从而生成辨识能力更强的特征表示。实验结果表明,本文提出的滤波后的shallow-deep特征可以提高行人检测的精度。(2)提出一种RG-MKL多核学习的方法融合多区域多层深度特征,用于行为识别任务。人体区域的特征描述给行为识别提供了关键信息,如何合理利用人体区域的核心特征和整张图像区域的上下文特征是一个开放性的问题。我们提出一种多核学习算法RG-MKL来融合这两个区域的特征,不仅融入了预学习分类器对样本的判别能力,还整合了我们对人体区域和整张图像区域特征区分能力的先验认识。此外,为了提高特征表示能力,我们采用多层深度特征,不仅吸收了传统two-stream模型的全连接层信息,而且融入了卷积层的强响应特征,比一般的全连接层或者softmax层的特征描述能力更强。实验结果表明,本文提出的RG-MKL融合多区域多层深度特征方法,能够提高算法对视频行为的表示能力和分类能力,从而提高行为识别精度。(3)提出一种依赖于方向的特征DDFP并采用非负低秩稀疏编码模型来编码,用于行为识别任务。基于局部时空兴趣点的行为识别方法中,单一兴趣点的描述子不能反映特征点之间的时间先后和空间位置关系,并且传统的稀疏编码会导致编码不一致性和信息缺失的问题。基于此,本文考虑兴趣点之间的时空关系,连接每个兴趣点和邻居点的描述子并根据两个点之间的时空关系赋予方向标签,构建依赖于方向的特征对。该特征作为新的局部描述子,不仅能够描述兴趣点在三维空间内的时空相对关系,而且可以描述上下文的外观特征,比传统的局部描述子表达能力更强。此外我们还提出一种非负低秩稀疏编码方法来编码新的特征,我们认为来自同一个方向的特征对存在一定的相似性,低秩项能够在一定程度上使得相似的特征对产生相似的编码,同时非负项能避免没有物理意义的负数编码值产生。实验结果表明,相比于传统的局部时空兴趣点方法,依赖于方向的特征对结合非负低秩稀疏编码模型能够提高行为识别的精度。(4)提出一种基于高层语义属性的局部特征用于人群计数任务。基于回归的人群计数方法大多采用全局前景分割特征来描述视频中每帧图片信息,忽略了具有描述图像高层语义能力的属性特征,而目前很少有文献做相关研究。考虑到语义分割特征图的每个像素点反映场景各个属性的概率分布,能够更好地描述上下文语义特征,因此本文尝试使用语义分割特征图来描述图像;同时,为了利用局部位置信息,我们进一步提取带有位置信息的局部特征,并考虑不同聚类中心辨识能力的差异性,提出结合W-VLAD的方法编码局部特征,生成图像的最终表示。实验结果表示,采用W-VLAD编码语义分割特征图上的局部特征,能够提高图像表示能力,从而提高人群计数的准确度。