基于条件随机场的中国手语识别

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:jerrykfczz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手语识别具有很重要的意义,例如可以为健康人和聋哑人搭建正常交流的平台,可以为人机交互提供另一种可行方案,等等。手语识别应用的手势捕获设备主要有数据手套、计算机视觉、表面肌电和加速计等传感设备。其中,基于肌电和加速度信号的手语识别技术具有便携、经济与高效的特点,是中科大神经肌肉控制实验室近年来的重点研究方向。   本课题研究围绕基于肌电和加速度的手语识别技术而展开。在模式识别的一般流程中,分类器的设计至关重要。2001年Lafferty提出的条件随机场模型,由于其具有剔除观测序列独立性、特征函数选择灵活性和条件概率建模全局性的三大理论特性,被广泛的运用与各类领域的模式识别中。本课题拟将条件随机场模型(Conditional Random Fields,CRF)引入基于肌电和加速度的中国手语识别中,对其应用的可行性及有效性进行了系统的研究其主要研究内容及成果如下:   (1)介绍了中国手语词的完整识别方案。具体包括:首先,对连续手语句子信号进行预处理,并利用移动平均法进行活动段分割;其次,对手语词的肌电信号进行分帧与特征提取,对加速度信号进行降采样处理;再次,对特征进行基于决策树的预分类;最后,从较小的子集空间中,选择底层分类器完成最终的识别。   (2)对条件随机场及其分支的理论框架进行了剖析。充分分析了条件随机场各分支的拓扑结构差异,指出其分别适用于不同的手语识别任务。分析了各种不同分支的条件概率计算方法,训练阶段所遵循的准则函数等,为手语词和连续手语识别提供理论基础。   (3)实现了基于隐条件随机场(Hidden Conditional Random Fields,HCRF)的手语词识别。介绍了代表模型结构的特征函数的选取、简单模型预训练、参数转换的参数的初始化及更新算法。在选取了最佳模型基本参数和模型结构后,采用HCRF对120类手语词得到了91.51%的平均识别率,验证了其运用于手语词识别的可行性及有效性。   (4)探索了基于潜在动态条件随机场(Latent Dynamic CRF,LDCRF)的连续中国手语分割技术。介绍了LDCRF的特征函数选取、模型参数初始化、更新、函数梯度计算、条件概率密度计算等等事宜。针对LDCRF可以运用于连续句子活动段分割的属性,提出了新的无归位连续手语分割方案,重点阐述了如何利用LDCRF代替移动平均法完成分割任务,并针对该方案得出了不错的分割效果。
其他文献
随着计算机、通信、控制和微电子等技术的迅猛发展,我们迫切地需要对来自不同信息源及传感器的信息进行更加有效的集成以应对不断涌现的、具有重要应用背景的各类多传感器系统
目前,我国基础教育获得了突飞猛进的发展。但是,广大农村地区,由于自然条件恶劣,经济相对落后,导致了农村初中教育相对滞后。初中语文教学是基础教育的主要学科,出现了许多不能适应
手征光纤光栅是在熔融状态下高速扭转特种光纤得到的一种新型光纤光栅,常用的特种光纤有偏芯光纤、几何型线双折射光纤以及应力型线双折射光纤。按其纤芯截面旋转对称性的不同
本文首先介绍了流水线ADC的常用性能参数和基本结构,以1.5比特位级结构为例详细的分析了ADC中的各个误差源和噪声源,最终推导出了包含非理想因素的数学模型。在这一数学模型的
血红蛋白基因能能使低氧条件下细胞的生长和蛋白质的合成速度不会受到太大的影响,并且在一定条件下还能促进目的基因的表达。本研究将透明颤菌血红蛋白基因成熟肽编码区序列分
本文通过对荣华二采区10
期刊
视线跟踪在人机交互、增强现实、人类习惯学习等领域有着重要的应用,近年来在计算机视觉领域得到了越来越多的关注。在人机交互领域而言,视线跟踪系统可分成两大类:一类基于桌
电源管理类芯片作为电子产品不可或缺的一部分已经被广泛应用于通信网络、计算机以及汽车电子等诸多产品领域,开关电源管理芯片由于高的转换效率,输出电压可升可降的优点应用范
本文通过对荣华二采区10
期刊
通过对猪的脂肪和胆固醇代谢相关基因,包括SCAP、INSIG1和INSIG2的克隆、染色体定位及其生物学特征的鉴定,探讨猪的脂肪沉积的分子机理,为这些基因的功能研究奠定基础。 方法