交警指挥手势识别是智能交通领域中一项非常重要的研究课题,在辅助驾驶、无人驾驶中有着广泛的应用价值。现有基于图卷积网络的交警手势识别方法存在两个问题。问题一是现有基于图卷积的交警手势识别方法易受复杂背景和过平滑问题的影响,导致特征提取不准确。现有图卷积方法易受图像背景中移动行人的影响,冗余的行人骨架数据导致交警手势特征提取不准确。同时,图卷积的过平滑问题使得手势特征随着卷积过程而被同化,降低了行为特征的可分辨能力。问题二是现有图卷积网络在建模交警手势时存在空间特征提取不准确和时域特征表达不充分。现有图卷积网络在空间上忽略了对行为特征表达更强的肢体动作信息的提取,在时域上也只使用一维普通卷积获取连续帧的时间信息,缺乏从多个时域跨度上提取时序特征的能力。针对问题一,本文提出了一种基于结构化模块和交叉池化图卷积网络的交警手势识别方法。结构化模块通过目标检测算法、姿态估计算法、冗余骨架过滤算法等一系列预处理手段优化交警骨架信息的提取,减少无关信息的干扰,为后续分类网络提供准确的数据支撑。同时,为了从交警骨架数据中有效建模手势特征,提出的交叉池化图卷积网络不仅通过构建全局交叉池化自适应地迭代池化组件来缓解图卷积的过平滑问题,还优化交警骨架拓扑图结构以增强手势建模,从而提高了交警手势识别准确率。针对问题二,本文提出了一种时空增强型图卷积网络以提取更具鉴别能力的手势时空特征。时空增强型图卷积网络主要由多级融合模块和时域扩展模块构成,多级融合模块在空间维度上通过空间自适应图卷积和部位特征提取器分别提取低层次的关节特征和高层次的肢体特征,并融合这两种级别特征以增强空间特征信息。时域扩展模块通过引入一维空洞卷积从多个时域跨度建模时序动态,提取了丰富的多尺度时域特征,从而增强了网络模型从复杂手势动作中捕获重要帧间时域关联信息的能力。本文对上述提出的方法进行了充分的实验。实验结果表明,本文所提的基于结构化模块和交叉池化图卷积网络的交警手势识别方法可有效减少复杂的背景干扰,提取准确的交警骨架数据,并缓解图卷积网络的过度平滑问题,实现了较高的识别准确率。此外,本文所提的时空增强型图卷积网络不仅进一步提高了交警手势的识别效果,而且该模型在两个大型人体动作识别数据集上实验结果也优于现有主流动作识别方法。