论文部分内容阅读
随着时代的发展与进步,科技逐渐应用到了日常生活中,特别是人机交互技术在日常生活中得到了广泛应用。而手语识别技术作为人机交互的一种方式,通过计算机技术将聋哑人的手语连续动作翻译成文字,使得正常人可以理解聋哑人的语言,促进聋哑人与正常人之间的交流。由于连续手语是聋哑人的主要交流方式,研究连续手语识别具有更加重要的社会意义。本文主要从两个方面展开对连续手语识别的研究:第一部分旨在研究如何构建更加有效的手语模型;第二部分旨在研究如何有效地将连续手语语句划分为孤立词序列。本文完成的研究内容和创新点如下:1.使用隐马尔科夫模型来训练手语模型,在此基础上首先,提出加入样本权重的参数训练方法,针对难以区分的样本赋以较大的权重,使得学习到模型能够对该类样本有很好的适应性;其次,引入区分性信息,将手语运动轨迹长度约束加入到隐马尔科夫模型的分类模型中,进一步提高识别性能;最后,使用阈值模型来生成运动连接词模型。2.结合隐马尔科夫模型和逐层构筑动态规划算法来完成连续句子手语的词序列划分和识别。首先,将连续手语句子的词序列划分任务转化为求解最优句子级别的标记匹配概率,使用逐层构筑算法来完成最优标记匹配概率的查找;其次,将基于手语词帧长约束的搜索窗口策略和基于n-gram的搜索路径策略加入到逐层构筑算法中提高整体搜索效率与句子级别识别率;最后,为了降低整个算法的计算复杂度,提出隐马尔科夫模型中似然概率的快速计算方法提高整体算法的运行效率。3.搭建连续中国手语识别系统。本文设计实现了一个以Kinect作为输入设备的在线连续中国手语识别系统,该识别系统在由66类手语词组成的44条连续手语句子库上取得了90%的识别率。