论文部分内容阅读
摘要提出了一种基于MEMS加速度传感器的手势语识别方案,重点阐述了系统的硬件组成和软件设计,分析了手势语识别的难点,为了提高识别精度建立了系统识别目标库。与传统识别系统相比,该系统体积小,便利。试验结果表明:该系统具有较高的准确度和可靠性,可以进一步的研究推广,努力实现聋哑人与健全人之间的无障碍交流。
关键词微机电系统;加速度传感器;手语识别;数据手套
中图分类号TP212.9文献标识码A文章编号1673-9671-(2010)031- 0017-01
手势识别系统主要是指识别手势静止时的空间三维信息和手势动作运动过程的轨迹信息。基于MEMS的加速度传感器具有测量动态和静态加速度的双重功能,可以在对手指运动过程进行跟踪识别的同时,利用其静态加速度的测量来检测手势的方向性。本文采用MXR9500三轴加速度传感器作为检测器件,实现了对手指的运动方向、运动轨迹、运动行程以及手指之间的角度关系进行全面检测的手势语识别系统。
1硬件电路设计
系统由安装在五个手指和手背的MXR9500传感器最小系统电路、MAX338模拟信号选择开关电路、处理器最小系统电路、音频输出及功率放大电路、音频采集电路、数据通信电路、存储器电路、电源电路等组成。系统的组成框图如图2所示。
2软件设计
系统的识别流程由手势语动作开始检测、动作轨迹记录、动作结束检测、数据量化、模型对比、语音播放等部分组成。通过检测传感器输出加速度信号的变化来检测动作的开始。系统检测到手指运动信号后会跳出等待程序开始执行轨迹检测及记录,同时不停地检测运动结束信号,在进行数据检测和记錄的同时,同步进行数据的量化以减少系统数据存储空间。当检测到动作结束后,结束识别进入模型对比程序。通过当前量化的结果与之前建立的识别目标的静态模型和动态模型进行对比,最终得出识别结果,然后通过音频播放电路输出。
2.1系统识别目标静态库的建立
采集做完各个手势语后的传感器输出信号值。如识别目标中比较简单的字母U,其手势语动作如图1所示。当手势语为U时采集回来的数据如:手背传感器:{0x01d3、0x029e 、0x202};大拇指:{0x0210、0x02b2、0x01ec } ;食指:{0x01c3、0x02cf、0x020e } ;中指:{0x0210、0x02c4 、0x01e0} ;无名指:{0x01f3、0x02ae、0x01ee } ;无名指:{0x01d8、0x02dd、0x01e4} 。
通过6个传感器的Y、X、Z轴的值的比较,明显Y轴的值要比其余两个轴的值大很多。这是因为手指是垂直的所以芯片内部的热气团浮向Y轴的正方向,从而Y轴方向的静态加速度最大,输出电压也就最大。
根据上述特点来建立系统识别目标的模型库。当输出的A/D转换结果大于设置的最大门限值时,将输出的A/D转换结果量化为2,当小于设置的最小值时则量化为0,其它值则量化为1。故字母U可以通过数组M1[18]={1,2,1,1,2,1,1,2,1,1,2,1,1,2,1,1,2,1}表示。1表示这个轴相对于重力加速度不是垂直向下也不是垂直向上的,2表示相对于重力加速度是垂直向上的,而0表示垂直向下的。数组M1[18]的各个元素的顺序依次是各个传感器的X、Y、Z轴的输出量化情况。
2.2系统识别目标动态库的建立
通过上述方法还不能识别出所有的识别目标。如字母F、G、E、Z、ZH、NG等,其手势图如图1所示。经3.1中介绍的方法量化后,除拇指以外的四个指头的结果是相同的,全都是X轴的值最小,数组为M1[18]={0,1,1,1,1,2,0,1,1,0,1,1,0,1,1,0,1,1}。所以还需要进一步识别手指的弯曲程度,即手指运动状态的测量。
手指运动状态测量采用动态加速度测量的方法,系统中主要是区别手指是否弯曲。方法是将手指弯曲程度根据前后两次测量结果的差值量化成数字量。这样就为个别字母增加了一个动态识别库M2,元素中用0表示手指没有伸出,用1表示手指伸出。
3结论
本文研究的基于MEMS的加速度传感器手势语识别系统,利用MXR9500三轴加速度传感器测量动、静态加速度的双重功能,准确地获得了手势语的空间三维信息和手指的运动信息。同时系统具有目标数据更新功能,可以扩展更多的识别目标。试验结果表明:该系统的识别准确率较高,运行稳定,将为手势语的识别提供一种新思路。
参考文献
[1]胡友树. 手语识别技术综述[J].科技论坛, 2005, 2: 40-41.
[2]Liang R H, Ouhyoung M. A real-time continuous gesture recognition system for sign language[C]. Third IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998, 558-565.
[3]中国聋人协会编.中国手语[M].北京华夏出版社,2003.
[4]张海涛,阎贵平.MEMS加速度传感器的原理及分析[J].电子工艺技术,2005, 24(6): 260-265.
[5]美新加速度传感器应用说明书. http://www.memsic.com.cn/products/app_notes.htm.
[6]李国峰.基于MEMS加速度传感器的智能输入系统[J].传感技术学报,2009, 22(5): 643-646.
关键词微机电系统;加速度传感器;手语识别;数据手套
中图分类号TP212.9文献标识码A文章编号1673-9671-(2010)031- 0017-01
手势识别系统主要是指识别手势静止时的空间三维信息和手势动作运动过程的轨迹信息。基于MEMS的加速度传感器具有测量动态和静态加速度的双重功能,可以在对手指运动过程进行跟踪识别的同时,利用其静态加速度的测量来检测手势的方向性。本文采用MXR9500三轴加速度传感器作为检测器件,实现了对手指的运动方向、运动轨迹、运动行程以及手指之间的角度关系进行全面检测的手势语识别系统。
1硬件电路设计
系统由安装在五个手指和手背的MXR9500传感器最小系统电路、MAX338模拟信号选择开关电路、处理器最小系统电路、音频输出及功率放大电路、音频采集电路、数据通信电路、存储器电路、电源电路等组成。系统的组成框图如图2所示。
2软件设计
系统的识别流程由手势语动作开始检测、动作轨迹记录、动作结束检测、数据量化、模型对比、语音播放等部分组成。通过检测传感器输出加速度信号的变化来检测动作的开始。系统检测到手指运动信号后会跳出等待程序开始执行轨迹检测及记录,同时不停地检测运动结束信号,在进行数据检测和记錄的同时,同步进行数据的量化以减少系统数据存储空间。当检测到动作结束后,结束识别进入模型对比程序。通过当前量化的结果与之前建立的识别目标的静态模型和动态模型进行对比,最终得出识别结果,然后通过音频播放电路输出。
2.1系统识别目标静态库的建立
采集做完各个手势语后的传感器输出信号值。如识别目标中比较简单的字母U,其手势语动作如图1所示。当手势语为U时采集回来的数据如:手背传感器:{0x01d3、0x029e 、0x202};大拇指:{0x0210、0x02b2、0x01ec } ;食指:{0x01c3、0x02cf、0x020e } ;中指:{0x0210、0x02c4 、0x01e0} ;无名指:{0x01f3、0x02ae、0x01ee } ;无名指:{0x01d8、0x02dd、0x01e4} 。
通过6个传感器的Y、X、Z轴的值的比较,明显Y轴的值要比其余两个轴的值大很多。这是因为手指是垂直的所以芯片内部的热气团浮向Y轴的正方向,从而Y轴方向的静态加速度最大,输出电压也就最大。
根据上述特点来建立系统识别目标的模型库。当输出的A/D转换结果大于设置的最大门限值时,将输出的A/D转换结果量化为2,当小于设置的最小值时则量化为0,其它值则量化为1。故字母U可以通过数组M1[18]={1,2,1,1,2,1,1,2,1,1,2,1,1,2,1,1,2,1}表示。1表示这个轴相对于重力加速度不是垂直向下也不是垂直向上的,2表示相对于重力加速度是垂直向上的,而0表示垂直向下的。数组M1[18]的各个元素的顺序依次是各个传感器的X、Y、Z轴的输出量化情况。
2.2系统识别目标动态库的建立
通过上述方法还不能识别出所有的识别目标。如字母F、G、E、Z、ZH、NG等,其手势图如图1所示。经3.1中介绍的方法量化后,除拇指以外的四个指头的结果是相同的,全都是X轴的值最小,数组为M1[18]={0,1,1,1,1,2,0,1,1,0,1,1,0,1,1,0,1,1}。所以还需要进一步识别手指的弯曲程度,即手指运动状态的测量。
手指运动状态测量采用动态加速度测量的方法,系统中主要是区别手指是否弯曲。方法是将手指弯曲程度根据前后两次测量结果的差值量化成数字量。这样就为个别字母增加了一个动态识别库M2,元素中用0表示手指没有伸出,用1表示手指伸出。
3结论
本文研究的基于MEMS的加速度传感器手势语识别系统,利用MXR9500三轴加速度传感器测量动、静态加速度的双重功能,准确地获得了手势语的空间三维信息和手指的运动信息。同时系统具有目标数据更新功能,可以扩展更多的识别目标。试验结果表明:该系统的识别准确率较高,运行稳定,将为手势语的识别提供一种新思路。
参考文献
[1]胡友树. 手语识别技术综述[J].科技论坛, 2005, 2: 40-41.
[2]Liang R H, Ouhyoung M. A real-time continuous gesture recognition system for sign language[C]. Third IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998, 558-565.
[3]中国聋人协会编.中国手语[M].北京华夏出版社,2003.
[4]张海涛,阎贵平.MEMS加速度传感器的原理及分析[J].电子工艺技术,2005, 24(6): 260-265.
[5]美新加速度传感器应用说明书. http://www.memsic.com.cn/products/app_notes.htm.
[6]李国峰.基于MEMS加速度传感器的智能输入系统[J].传感技术学报,2009, 22(5): 643-646.