基于Kinect的孤立词手语识别系统研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dragonlumeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手语识别是通过计算机技术识别翻译出手语动作的过程,是人机交互领域的一项重要研究分支。聋哑人与正常人间所存在的沟通交流障碍的现状以及对人机交互方式的自然性和便捷性的越来越高的要求,研究手语识别技术并将它应用到现实中显得日益重要。聋哑人交流中使用的连续手语句子由孤立手语词组成,研究孤立词手语识别是构建连续语句手语识别系统的基础和前提,具有重要的研究价值。体感设备Kinect能够输出彩色图像和深度图像并捕获人体各关节运动,相比传统的手语数据采集装置更具优势。本文在以Kinect为输入的基础上对孤立词手语识别进行了研究,并实现孤立词手语识别系统。本文的主要研究内容包括:1.区分性手语特征量提取。通过分析Kinect原始骨骼跟踪信息和彩色图像信息,设计出包含轨迹特征和手形特征的手语特征量,轨迹特征为原始轨迹点经过速度、尺度和位置归一化得到,手形特征包括灰度、SURF (Speed-Up Robust Features)和HOG (Histogram Of Gradients)特征。2.本文引入区分性字典学习和稀疏表示的识别算法并将其应用在孤立词手语识别中,在此基础上提出一种基于联合字典的改进的分类算法,该分类算法能充分利用已训练出联合字典中的区分性信息,提高分类正确率。3.孤立词手语识别系统。本文设计实现了一个实时有效的孤立词手语识别系统,该识别系统在论文所采集的72个孤立手语词数据集上平均识别准确率为98.61%。文章设计了一系列实验用于验证手语特征量和所提算法的有效性,结果表明当使用轨迹结合HOG作为手语特征时能获得最佳的分类结果,并且改进的分类算法在分类准确率上要优于原始分类算法,与DTW (Dynamic Time Warping)和HMM (Hidden Markov Models)算法的对比结果表明本系统是适用于孤立词手语识别的。
其他文献
富贵财鱼rn原料:鳜鱼1条、青椒、红椒、葱姜、香芹、洋葱、香菜、料酒、糖、盐、味精.
本文为搭建无线传感器网络研究的基础实验平台,基于802.11高速率数据传输协议,在嵌入式Linux操作系统平台上移植实现AODV-UU和DSR-UU两种高速率路由协议,并对其性能进行对比
H.264/AVC是最新的视频编码国际标准,它是由ISO/IEC的运动图像专家组MPEG和ITU-T的视频编码专家组VCEG组成的联合视频小组JVT开发的,又称为MPEG-4 Part 10 AVC。与之前众多的
详细综述了电力线通信技术发展和相关标准制定的研究现状;对欧美主要标准组织制定的电力线通信标准进行了详细叙述,给出针对我国实际应用情况的基于电力线通信的远程抄表系统标准框架;通过对标准框架进一步详细论述,指出应用电力线通信的远程抄表系统的几个主要问题;在差错控制方面,采用简单实用的ARQ差错控制方法来保证抄表系统网络传输所需的可靠性,通过对ARQ的改进,提高了网络使用性能;网络中继的应用可以扩大网络
近年来,自主式水下航行器(AUV)在海洋科学调查、海洋资源开发以及军事领域得到越来越广泛的应用,AUV进行自主导航需要通过各种传感器来获取水下环境和自身状态信息。数据采集
DVB-S2标准(第二代卫星数字视频广播标准)相比于DVB-S标准,不仅调制方式从8PSK提升到16APSK、32APSK,自适应编码调制方式大大提高了系统性能,而且前向纠错译码性能得到了3dB
中压电力线通信在配网自动化领域起着非常重要的作用。为了实现中压电力线通信,论文首先研究了中压电力线信道的衰减特性和噪声特性,并实现了中压配电网信道建模。对中压PLC通信调制技术进行了研究。针对中压电力线的信道特性,研究了多载波FSK调制技术。在研究DDS调制原理的基础上,提出了一种基于DDS的PLC通信调制系统设计方案,完成了多载波FSK调制解调系统的硬件设计。结合具体硬件实现,论述了调制解调算法
上世纪八十年代,“危机管理”的概念开始进入企业,并受到业界的关注.但是经过20多年的发展,我国企业并没有真正的重视企业的危机管理.2003年始于中国的“SARS”使中国国内的
学位
光波阵面的大部分信息被编码在更能反映被测物体细节信息的相位中,然而现有的光测量装置仅能记录光的强度,而无法直接测量光的相位。因此相位恢复或相位检索,即从强度测量中