人体姿态估计是指在图像或视频中定位出人体关节点,并将关节点连接起来形成骨架。该任务是实现基于骨架的行为识别和行人再识别等任务的基础,在安防监控、电影制作、交互式游戏等领域应用广泛。卷积神经网络的发展基本解决了单人场景下的人体姿态估计问题,但多人的复杂场景下还有很大的发展空间。多人场景下往往存在人与人重叠、关节点被遮挡等问题,导致网络会将一些关节点的位置识别错误。因此,多人姿态估计仍然是计算机视觉领域的研究重点。针对多人姿态估计下存在的问题,本文重点围绕图像特征提取和神经网络轻量化研究两个关键问题展开研究,具体如下。(1)针对多人场景下关节点识别准确率较低的问题,本文采用由粗糙到精细的设计思想,在高分辨率网络后衔接改进的级联金字塔网络,并采用多阶段的方式进一步提高识别精度,从而提出新的网络结构多阶段改进级联金字塔网络MSIPN。此网络充分利用不同尺度的图像信息,能有效提高姿态估计精度。对级联金字塔网络的改进在于将插值上采样替换为转置卷积上采样,使得网络的上采样操作可学习。比以往的多阶段网络更能有效利用特征信息,本文在阶段之间采用跨阶段特征融合机制将相邻阶段的特征联合起来,生成不同尺寸的真值热力图进行由粗到细的中继监督。在复杂的多人姿态估计数据集COCO上的实验结果表明,本文提出的多阶段改进级联金字塔网络的各子模块有助于提高多人场景下的检测精度,且在COCO数据集上取得了有竞争力的结果,但代价是复杂度也稍微增加。(2)针对上述多阶段改进级联金字塔网络计算量与参数量大的问题,本文进一步进行网络的轻量化研究,提出了采用改进的密集连接模块和改进的InceptionRes Net模块来代替此网络的基本组成单元残差模块。其中,改进的密集连接模块直接将所有层连接起来,加强了特征传递,减少网络复杂度以及提高参数利用率;改进的Inception-Res Net模块利用分解卷积核和增加并行卷积层的技巧,一定程度上减少网络复杂度。在多人姿态估计数据集MPII上的实验结果表明,改进的密集连接模块可显著减少模型参数和计算复杂度,并对检测准确率也有所裨益;而改进的Inception-Res Net模块对模型效率提升不太明显,在提升准确率方面与改进的密集连接模块相当,综合考虑下本文选择改进的密集连接模块作为轻量化多阶段改进级联金字塔网络Light-MSIPN的基本单元。