行人检测,旨在识别并定位输入图像或视频中的行人,是计算机视觉技术中的重要问题,也是场景理解、图像检索、事件检测等许多任务的基础。尽管随着深度学习的快速发展和计算机处理能力的不断提高,行人检测在近十年得到了很大的发展,但是在现实世界的真实场景下,行人检测算法的性能相比人眼给出的结果仍有较大差距。因此,行人检测一直是当前学术界与工业界的研究热点,具有巨大的理论研究价值与实际意义。在影响行人检测算法性能的诸多因素中,行人的尺度变化、遮挡及光照变化是三大核心挑战。尺度变化的表现形式为在图像中,由于与摄像头距离的不同,行人的尺寸大小不一;遮挡的表现形式为行人的某些部分被其他物体遮挡,造成身体结构的完整性被破坏;而光照变化的表现形式则为由于场景光照强弱不一,不同的行人所在的区域明暗不同。围绕着这三个挑战,本文首先开展了普通监控场景下的行人多尺度与遮挡处理的研究,其研究目标为学习能够抵抗尺度变化与遮挡的目标特征表达;然后,针对复杂拥挤环境下行人之间互相遮挡而形成的人群遮挡这一特殊的遮挡类型,本文开展了基于上下文信息的人群目标遮挡处理研究,其研究目标为学习在人群密集情况下的具有强分辨能力的行人特征;最后,本文开展了多光谱图像中的行人检测研究,其研究目标为通过融合不同模态下的图像信息,解决全天候条件下光照变化较大时行人检测性能较差的问题。这三个部分从不同的角度对行人检测进行了深入的研究和探讨,构成了针对该问题的相对完整的研究框架。本论文的主要研究工作和创新成果如下:(1)提出了一种基于特征复用与区域分解的行人多尺度及遮挡处理算法。该算法建立了一个经过特征增强的卷积神经网络,并利用多区域池化来提取行人候选框在多个特征层级以及背景区域的特征,同时,利用框级别的弱分割机制来抑制多尺度下的误检测。通过这样的方式,该算法探索了如何更合理地复用神经网络特征,来增强算法对于行人尺度变化的处理能力。此外该算法还提出利用行人部件可见性得分及遮挡模式分类得分,来处理行人检测中的遮挡问题。与目前主流的通过设计部件检测器或者优化特征表示及损失函数来处理遮挡问题的做法不同,该方法创新性地同时估计行人目标中的各个部件的可见性以及行人整体的遮挡类型,并将二者的结果进行融合,得到一个加权部件得分来调整每一个行人目标原本的分类得分,使得被遮挡行人的分类得分得到增大,从而减少被遮挡情况下的漏检测。实验结果表明:与已有算法相比,该算法对于行人的尺度变化以及遮挡具有优异的处理能力。(2)提出了一种基于上下文信息的人群目标遮挡处理算法。该算法的基本出发点为利用图像中丰富的上下文信息来帮助检测器处理人群遮挡这一特殊的遮挡类型。不同于以往算法直接将行人候选框扩大一个固定的或自适应的倍数,来获得上下文信息的做法,该算法创新性地将上下文信息分成两类,并设计了不同的策略分别加以处理。具体来说,该算法将一个行人框周围背景区域的像素定义为像素级上下文信息,而该行人框周围的其他行人框定义为实例级上下文信息。对于前者而言,该算法设计了一个新颖的像素级上下文处理模块,以融合来自多个区域的上下文信息;对于后者而言,该算法设计了一个双人检测器,来描述由于行人互相遮挡而形成的实例级上下文视觉特性,并且设计了一个新颖的策略,来融合该双人检测器与传统的单人检测器的检测结果。实验结果表明:与已有算法相比,该算法显著提高了拥挤场景下的人群遮挡处理的性能表现。(3)提出了一种基于深度门限特征融合的多光谱行人检测算法。与前述两个研究内容聚焦于常规监控视频图像不同,该算法探索了通过融合不同模态下的图像信息,解决全天候条件下光照强度变化较大时行人检测性能较差的问题。现有的多光谱图像下行人检测方法可分为两类,一种基于特征层融合,另一种则基于检测结果融合。其中,前者方法设计较为麻烦,需要大量先验知识,而后者融合策略难以设计,性能较差。相比而言,该算法创新性地设计了一种带门限的特征融合结构,对可见光谱和红外光谱图像的特征层加上门限,并将其进行有机的融合,以获得对于光照不敏感的特征表示,提高光照条件较差情况下的行人检测性能。实验结果表明:与已有算法相比,该算法在场景光照条件变化较大时具有优异的性能表现。