论文部分内容阅读
手语识别具有很重要的意义,例如可以为健康人和聋哑人搭建正常交流的平台,可以为人机交互提供另一种可行方案,等等。手语识别应用的手势捕获设备主要有数据手套、计算机视觉、表面肌电和加速计等传感设备。其中,基于肌电和加速度信号的手语识别技术具有便携、经济与高效的特点,是中科大神经肌肉控制实验室近年来的重点研究方向。
本课题研究围绕基于肌电和加速度的手语识别技术而展开。在模式识别的一般流程中,分类器的设计至关重要。2001年Lafferty提出的条件随机场模型,由于其具有剔除观测序列独立性、特征函数选择灵活性和条件概率建模全局性的三大理论特性,被广泛的运用与各类领域的模式识别中。本课题拟将条件随机场模型(Conditional Random Fields,CRF)引入基于肌电和加速度的中国手语识别中,对其应用的可行性及有效性进行了系统的研究其主要研究内容及成果如下:
(1)介绍了中国手语词的完整识别方案。具体包括:首先,对连续手语句子信号进行预处理,并利用移动平均法进行活动段分割;其次,对手语词的肌电信号进行分帧与特征提取,对加速度信号进行降采样处理;再次,对特征进行基于决策树的预分类;最后,从较小的子集空间中,选择底层分类器完成最终的识别。
(2)对条件随机场及其分支的理论框架进行了剖析。充分分析了条件随机场各分支的拓扑结构差异,指出其分别适用于不同的手语识别任务。分析了各种不同分支的条件概率计算方法,训练阶段所遵循的准则函数等,为手语词和连续手语识别提供理论基础。
(3)实现了基于隐条件随机场(Hidden Conditional Random Fields,HCRF)的手语词识别。介绍了代表模型结构的特征函数的选取、简单模型预训练、参数转换的参数的初始化及更新算法。在选取了最佳模型基本参数和模型结构后,采用HCRF对120类手语词得到了91.51%的平均识别率,验证了其运用于手语词识别的可行性及有效性。
(4)探索了基于潜在动态条件随机场(Latent Dynamic CRF,LDCRF)的连续中国手语分割技术。介绍了LDCRF的特征函数选取、模型参数初始化、更新、函数梯度计算、条件概率密度计算等等事宜。针对LDCRF可以运用于连续句子活动段分割的属性,提出了新的无归位连续手语分割方案,重点阐述了如何利用LDCRF代替移动平均法完成分割任务,并针对该方案得出了不错的分割效果。