论文部分内容阅读
手语翻译是一个涉及计算机视觉、自然语言处理和模式识别等多个技术领域的综合性任务,在智能场景识别、手语视频检索等领域有着极为广泛的应用前景,尤其对于聋哑群体参与正常交流有着极其重要的意义。本文研究利用图卷积网络(Graph Convolutional Network,GCN)、人体骨架图数据时空特征提取以及编码-解码网络(Encoder-Decoder Network)的序列化建模输出文本,提出基于时空图卷积网络(ST-GCN)的手语翻译方法。基于卷积神经网络的深度模型方法广泛用于诸如图片识别、视频分析等领域中的欧几里德数据处理。非欧几里德类型的人体骨架关节点数据无法被深度模型直接处理,而通常被转换为欧几里德类型的数据易导致结构信息丢失。本文在人体骨架关节点数据上直接采用时空图卷积网络进行手语动作分类识别。首先,借助姿态估计方法获取骨架关节点的位置信息;在构建骨架关节点图数据之后,采用时空图卷积网络提取时空特征;利用softmax分类器实现对视频中手语动作的分类识别。手语数据集的实验结果表明,本文方法能直接对骨架关节点数据提取时空特征并在手语动作识别任务上取得了较好的结果。手语视频中手语动作由手臂动作和手部动作组成,二者在动作幅度,语义精度等方面存在着显著区别。基于全局特征的方法难以区分二者之间的差异化信息,而这些差异化信息通常在特征表示方面对复杂手语动作识别具有稳健的表达能力。于是,针对人体骨架图数据,提出利用双流时空图卷网络模型,分别对人体躯干和手部进行时空特征提取,以有效捕捉不同身体部件间的差异化运动信息。然后,采用特征聚合方法处理所得序列化特征并利用基于注意力机制(Attention Mechanism)的编码-解码网络对即得序列化特征翻译并输出文本。手语数据集的实验结果表明,本文方法能获取更加稳健的特征表示并有效提升手语翻译任务的准确度。针对图卷积网络中的过平滑问题,本文提出基于残差连接的时空图卷积结构解决手语翻译。嵌入该结构能有效解决时空图卷积在连续堆叠过程中出现的域间信息串扰问题。最后,引入Transformer结构构建基于残差连接时空图卷积的手语翻译模型。公开手语数据集RWTHPHOENIX Weather 2014的实验结果表明,本文基于时空图卷积网络的手语翻译方法行之有效,具有重要的参考价值。