手语是人机交互的一种重要手段,也是聋哑人与健听人进行沟通的主要工具。由于不同手语者之间的差异性,连续的手语语句识别一直是一个难点问题。本文以Kinect作为数据采集工具,提出了一种基于过渡动作的连续手语语句识别算法。首先根据手语者的手势轨迹设计了一种基于轨迹信息的手语语句分割算法,即根据右手心的速度和方向角初步确定过渡动作,并依据右手心的点密度剔除错误的过渡动作后,实现对连续手语语句做初步分割;由于词汇是组成语句的基本单元,因此识别手语词汇是识别连续手语语句的重要前提,为了准确地识别手语词汇,本文采用轨迹归一化算法提取其轨迹特征,同时采用卷积神经网络提取其手型特征,并由此训练基于循环卷积神经网络的手语词汇分类器;完成上述工作后,即可开始识别连续的手语语句,首先根据第一步中分割算法检测出的过渡动作对手语语句做分割,然后将分割出的片段拼接成若干复合段,并按照层次遍历的次序将所有复合段送入第二步中设计的手语词汇分类器中进行识别,最后在词间转移概率和搜索路径长度的约束下,采用跨段搜索的动态规划算法寻找具有最大后验概率的目标词汇序列,从而完成对连续手语语句的识别。为了验证上述算法的有效性,本文设计并实现了一个手语语句识别系统,它可以对47个常用手语词汇组成的语句做出识别。实验结果表明,该系统可以面向非特定人群,且具有较高的准确性和实时性。