人体检测是当前机器学习领域研究的热点,该技术在虚拟现实、自动驾驶等领域有非常重要的意义。随着深度学习的快速发展,人体检测技术已经取得了不错的进展。但当前人体检测算法在复杂场景下仍然面临目标多尺寸、遮挡等问题,检测精度和速度往往顾此失彼,使得该技术在现实应用时受到一定约束。此外,智能安防、人机交互等领域迫切需要对人体提取更高级的语义信息,即人体行为识别。人体行为与人体姿态联系紧密,尽管基于人体姿态的行为识别已经有不少研究成果被提出,但现有的算法总将两者分开处理,算法的复杂性较高。针对上述问题,本文在人体检测与行为识别领域进行更深入地研究。具体工作主要包括以下几点:1、针对当前轻量级网络的通用性不强、鲁棒性不高的问题,本文基于Res Nets设计了一种轻量级网络Limit Net,并使用网络op融合的方法在推理阶段对模型加速。该网络在三种测试集下的性能表现比当前常用的轻量级网络更突出,并且将Limit Net应用到人体检测与行为识别领域也能表现出突出的性能。2、在人体检测技术的研究中,针对现有的算法精度和速度失衡的问题,在Center Net的基础上提出Refine＿Center Net,主要在上采样模块和预测模块上进行改进。在上采样模块中设计了一种基于注意力机制的特征融合模块来对浅层特征和深层特征进行融合,改进后的算法在小尺寸目标上的AP提高了2%。在预测模块,设计了一种多阶段预测模型——先用输入图像尺寸下采样8倍的Feature map作为预测分支对网络优化,然后将下采样4倍的Feature map作为分支预测对网络进行微调。最终算法在测试数据集上的AP有显著提升,且推理延时没有明显增加。3、在人体行为识别算法的研究中,本文设计了一种多任务网络模型,可以同时进行人体行为识别与姿态估计两种任务。其中在姿态估计中,提出S-Soft-Argmax方法直接从heatmap中回归对应的人体坐标,使得模型可以端到端地训练,提升姿态估计的准确率。在行为识别模块,基于姿态与外观特征,设计一种自适应特征加权的方法对两者进行融合,进一步提升了模型的准确率。该模型在Penn action数据集中能够达到了96%的识别精度,且推理时延只有60ms。本文在人体检测与行为识别的深入研究中,对算法的各个模块都进行了大量的性能对比实验。整体的检测算法与行为识别算法不仅能够达到高准确率,而且在1080TI下总体时延只有67ms,在现有算法中很有竞争力。