复杂场景联合行人及部件检测研究具有很重要的理论研究意义和工程应用价值,是计算机视觉领域中一个经典且富有挑战的问题。随着卷积神经网络(CNNs)被应用到了目标检测领域并取得巨大的成功,目标检测技术已经逐渐应用到自动驾驶、公共安全等具有重大社会意义的工业领域。虽然目标检测方法在过去几年中取得了重大进步,但在复杂场景视频图像中,由于目标尺度变化、运动模糊、局部遮挡等因素,行人及部件检测任务还是具有很大的挑战。为了对复杂场景行人及部件检测进行研究,本文选择由复杂场景视频图像组成的数据集:CUHK-SYSU Person Search Dataset来尽可能模拟真实复杂的检测环境,且在以上数据集中研究行人、头部、头肩和上半身的多目标检测任务。基于这个任务,在充分调研目标检测现有方法的基础上基于损失函数、检测目标间的关系、训练策略等几个方面提出了以下三个模型来提升当前行人及部件检测方法的速度(FPS)或平均精度(AP)。(1)提出了一种利用行人目标框级分割损失辅助训练模型的策略来提升模型检测行人及部件的检测精度。该策略虽然在模型训练阶段由于计算行人框的分割损失而引入一点额外时间损失,但在测试阶段因为不需要行人目标框分割分支并不会引入额外的时间损失。基于此提出了一个可以快速达到当前行人及部件检测最高精度(AP)的方法。(2)提出了一种基于身体部件索引特征(BPIF)和自适应联合非极大值抑制(AJNMS)的行人检测方法。由于某些部件会出现被部分遮挡甚至完全遮挡的情况,使得其利用部件自身的信息很难被检测到,因此本方法提出用BPIF来编码个体的部件(头部、头肩、上半身和整个身体)间的语义关系,以提高检测被遮挡部件的鲁棒性。AJNMS将一个人的头部、头肩、上半身和身体作为一个整体,这样可以提高重叠行人检测的召回率和头部等较难检测目标的准确率。基于上述两个策略,该方法在行人及部件检测精度上远远超过了当前最高精度。(3)提出了基于难例训练的联合行人及部件检测方法。该方法主要是在当前获得最高精度的Head Net上修改其训练策略,使其使用不同的正反样例参与Bi C和Refinement模块的训练来充分挖掘网络的潜力。通过此训练方法,在测试网络不变的情况下,可以提升行人及部件尤其是头部的检测精度。