在智能设备迅速发展的今天,人们之间的交流方式多种多样,但最主要依然是语言交流。正常人通过谈话交流,聋哑人之间通过手语交流。然而聋哑人和不熟悉手语的普通人之间却难以进行交流,这就迫切需要一种可以实现手语和正常语言转换的工具。手语手势识别是可以将手语转换为其它表达形式比较直接的方式。相比较于其他手势捕获技术,表面肌电(surface electromyography, SEMG)传感器和轨迹传感器(包括加速度和陀螺仪)在获取动作信息中有着更多的优势。表面肌电可检测精细动作,而轨迹传感器对大幅度动作检测有着更明显的优势,二者的融合在很多研究及应用中脱颖而出。基于作者所在实验室前期研究基础,本文提出一种融合表面肌电和轨迹传感器(加速计和陀螺仪)信息的手语识别方案,并设计制作了一套基于双核DSP的手语翻译设备。本文工作是在实现真正手语翻译设备上的一次成功尝试,为此项技术的市场应用奠定了坚实的基础。本文主要工作概括如下：(1)设计并实现了一种融合双手8通道表面肌电、6通道加速度(Acceleration,ACC)和6通道角速度(Angular Velocity, AV)信息的手势识别算法方案。该算法首先通过右手腕带的4通道表面肌电信号进行手势活动段分割,然后提取表面肌电的绝对值均值和自回归(Auto Regressive, AR)模型系数和加速度与角速度的降采样信号作为特征送入分类器。分类器采用决策树的方式先进行单双手分类和朝向分类,然后使用多流隐马尔可夫模型(multi-stream Hidden Markov Model, multi-HMM)进行最终决策。(2)设计并实现了一套基于双核DSP的便携式手语实时翻译设备。该设备包含左手腕带和右手腕带,每个腕带均集成四通道表面肌电传感器、一个3D加速计和一个3D陀螺仪,使用时分别绑在左右手前臂肌腹位置。右手腕带为从设备,采集右手表面肌电、加速度和角速度信号并通过蓝牙传送到左手腕带。左手腕带为主设备,在采样左手相同数据的同时接收右手腕带数据并同步,然后执行相应的算法对手语动作进行分类识别,通过蓝牙发送识别结果,并实现了识别结果的语音播报。(3)在DSP上实现了一种分帧隐马尔可夫(framing HMM)计算策略。针对隐马尔可夫算法实现的高复杂度会导致手势识别延时较大的问题,提出将隐马尔可夫的计算过程拆分为多个片段的思想。每个片段计算完成后保留关键参数,在活动段结束后结合关键参数获得最终结果。由于每个片段所需要的参数可以在活动段开始后依次获得,相对于常规活动段结束后才开始进行HMM计算的方案,此优化策略大大降低了识别延时。(4)为验证研制手语翻译设备的实时性和可靠性,开展了系统系统测试实验。测试结果表明,手语翻译设备总重141克,可实现30种中国手语词的高效准确识别,平均识别率为(97.1±4.4)%,平均识别延时为175ms。